您好,欢迎进入天花板循环扇有限公司官网!

咨询热线:

020-88888888

Python-进阶-代码优化工具

发布时间:2024-08-26 05:11人气:
性能优化的主要方法: 多进程处理,工具检测性能消耗完善代码,使用 Cython 扩展等。

本文链接:

代码优化工具列表:

优化工具工具说明
black代码格式化工具(推荐)
isort对import进行排序(推荐)
PyLint语法检查工具
vprof运行时间和内存分析器。图形化工具。
cProfile查询消耗时间最久的方法函数
line_profile查看耗时函数中的行耗时
timeit模块计算代码执行时间
memory_profiler诊断内存的用量

机器性能指标:

  • CPU
  • IO
  • MEM 内存
  • NET 网络

常见性能指标:

  • 响应时间
  • 错误率
  • 吞吐率
  • 执行时间
  • 内存占用

方法小结:

  • 使用 cProfile, cStringIO 和 cPickle 等用 c 实现相同功能
  • 使用 c 扩展。目前主要有 CPython(python 最常见的实现的方式)原生 API, ctypes,Cython,cffi 三种方式
  • 并行编程 multiprocessing
  • 大杀器 PyPy
  • CUDA 编程

Python 应用与优化所必备的 6 个基本库

自动对代码进行规范化, 规范化工具神器

# python3+
pip install black
?
$ black -l 120 monitor.py 
reformatted monitor.py
?
All done! ?   ?
1 file reformatted.
isort monitor.py 
Fixing monitor.py

vprof 代码检测工具 vprof 官网

vprof 简单使用:

pip3 install vprof
# 直接运行代码
vprof -c h test.py
# 带输入参数
vprof -c cmh "testscript.py --foo --bar"

gprof2dot 官网

cProfile+gprof2dot 简单使用:

sudo pip3 install gprof2dot
# 先用cProfile生成分析报告
python3 -m cProfile -o output.pstats test.py
# 使用 gprof2dot 画图
gprof2dot -f pstats output.pstats | dot -Tpng -o output.png

PyPy 是用 RPython(CPython 的子集)实现的 Python,使用了 Just-in-Time(JIT)编译器,即动态编译器, 与静态编译器(如 gcc,javac 等)不同,它是利用程序运行的过程的数据进行优化。 如果 python 程序中含有 C 扩展(非 cffi 的方式),JIT 的优化效果会大打折扣,甚至比 CPython 慢(比 Numpy)。

所以在 PyPy 中最好用纯 Python 或使用 cffi 扩展。

PyPy 优势在于使用 JIT 动态编译,对于运行的函数会生成一个类 C 的函数。 编译成机器码,下次调用函数时,会直接调用机器码,速度得到质的飞跃。 但是由于本身编译机器码需要时间。 所以很多 JIT 实现都会先解释执行,然后确定了一段代码经常被执行之后,再进行编译。并且分多层 JIT,比较初级的对编译出来的机器码不做比较复杂的优化.

用上下文管理器测量部分代码运行时间

from time import clock
class Timer(object):
    def __init__(self, verbose=False):
        self.verbose = verbose
?
    def __enter__(self):
        self.start = clock()
        return self
?
    def __exit__(self, *args):
        self.end = clock()
        self.secs = self.end - self.start
        self.msecs = self.secs * 1000  # millisecs
        if self.verbose:
            print 'elapsed time: %f ms' % self.msecs
?
if __name__ == "__main__":
?
    with Timer() as t:
        replace_str = ""
        for i, char in enumerate(orignal_str * 10000):
            c = char if char != " " else "-"
            replace_str += c
    print t.secs
?

objgraph 是一个非常轻巧的工具,但在排查内存泄露的时候非常有用。 objgraph 的代码很短,只有一个文件,其主要依靠标准库中的 gc 模块来获取对象之间的创建引用关系。objgraph 使用起来十分简单,

# 列出最多实例的类型
objgraph.show_most_common_types(shortnames=False)
# 显示两次调用之间的对象数量变化
objgraph.show_growth(limit=None)
# 获取指定类型的对象
objgraph.by_type('Foobar')
# 查找反向引用
objgraph.find_backref_chain(obj, objgraph.is_proper_module)

在遇到内存泄露问题时候首先考虑下用 objgraph 来进行查看,没有问题的时候也可以学习下它的代码,可以极大了解 gc 模块的应用。

tracemalloc 是用来分析 Python 程序内存分配的工具,使用上也很简单,

import tracemalloc
tracemalloc.start()
?
# ... run your application ...
?
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')

snapshot 结果中可以看到每个模块最终创建分配的内存大小,在追查内存问题上很有帮助。 Python 3.5.x 之后将 tracemalloc 集成到了标准库当中

Autopep8 是一个将 python 代码自动编排的一个工具,它使用 pep8 工具来决定代码中的那部分需要被排。 ,Autopep8 可以修复大部分 pep8 工具中报告的排版问题。很多人都知道 Ctrl+Alt+L 也可以排版,快捷键只是可以简单的排版。 跟 Autopep8 是无法相比的。

# autopep8 使用命令
autopep8 --in-place --aggressive --aggressive file.py


020-88888888

平台注册入口