分享个人经验，保留阅读记录，做时间的朋友
（给Python开发者加星标，提升Python技能）
100 Days Of ML Code （机器学习 100 天英文版）刚出来时，我们推荐过。目前英文版已经快 20k Stars 了。
后来有人跟进翻译成中文版。所以今天再次推荐，喜欢的读者，请收藏。
https://github.com/Avik-Jain/100-Days-of-ML-Code-Chinese-Version
GitHub 链接：
https://github.com/Avik-Jain/100-Days-of-ML-Code-Chinese-Version
中文版，已同步更新到第 54 天了！
转自：https://mp.weixin.qq.com/s/vtslaWecAVyuf5aaZcRrsg
来源：机器之心
训练模型的极速，与 1500 行源代码的精简，清华大学新开源强化学习平台「天授」。值得注意的是，该项目的两位主要作者目前都是清华大学的本科生。
Policy Gradient (PG)
Deep Q-Network (DQN)
Double DQN (DDQN) with n-step returns
Advantage Actor-Critic (A2C)
Deep Deterministic Policy Gradient (DDPG)
Proximal Policy Optimization (PPO)
Twin Delayed DDPG (TD3)
Soft Actor-Critic (SAC)
result = collector.collect(n_step=n)result = policy.learn(collector.sample(batch_size))
__init__：初始化策略
process_fn：从 replay buffer 中处理数据
__call__：给定环境观察结果计算对应行动
learn：给定批量数据学习策略
!git clone https://github.com/thu-ml/tianshou
!pip3 install tianshou
import os
os.chdir('tianshou')!python test/discrete/test_pg.py
!python test/discrete/test_ppo.py
!python test/discrete/test_a2c.py
!python test/discrete/test_dqn.py
Prioritized replay buffer
RNN support
Imitation Learning
Multi-agent
Distributed training
来自公众号：Python大咖谈 原文作者：Fabián Torres
原文链接：https://tryolabs.com/blog/2019/12/10/top-10-python-libraries-of-2019/
欢迎回来，这是我们第五次推出年度顶级 Python 支持库榜单。在这里，我们列出了隐匿于开源世界里的瑰宝，既可以帮你启动新的项目，也可以为你现有的项目添光加彩。本榜单覆盖了各个领域，包括机器学习与非机器学习的支持库。
希望你能和我们一样喜欢本年度的顶级支持库榜单，话不多说，题归正文！
项目网址：
https://www.encode.io/httpx/
经常进行 API 交互的 Python 忠粉，对 requests 应该是运用自如了。不过，对于日趋普及的现代高性能应用而言，在用到异步范式时，requests 就显得有点捉襟见肘了。
为了解决这一问题，大咖 Tom Christie 和他的小伙伴给大家带来了新世代异步 HTTP 客户端 ~ HTTPX。
紧跟 requests 步伐，HTTPX 在支持 requests 标准功能的同时，还支持 HTTP/2 与 HTTP/1，以及通过 ASGI 协议直接调用 Python 网络应用，此外还有完善的类型注释。
要执行大规模并发请求？HTTPX 就是你要找的答案。
注意：HTTPX 仍在 alpha 版开发阶段，目前只开发了异步客户端，将来还会引入同步客户端。
项目网址：
https://www.starlette.io/
Starlette 打包了 WebSocket、GraphQL、进程内后台任务等多种功能，是真正高性能的轻量级 ASGI 框架与工具箱。所有功能都完全支持类型注释代码库，且不需要任何硬性依赖项。可以把它当成非常轻量级的现代异步版 Flask。
Starlette 的灵活性很强，既可以用作完整的网络框架，也可以只用作 ASGI 工具箱。
Starlette 运行在 uvicorn 之上，这个支持库入选了去年的 10 大顶级 Python 支持库榜单。
如果想开发新型网络应用，强烈建议您给 Starlette 一个发光发热的机会。
项目网址：
https://github.com/tiangolo/fastapi
Starlette 很赞，但它太迷你了，虽然给了开发者很大的自由，但有时，用户要的其实只是一个能快速完成任务的框架。
Sebastián Ramírez 就是出于这个目的开发的 FastAPI，怎么说呢？这个支持库的各个方面都很 Fast。
这个用 Python 开发 API 的新框架具有超高性能，而且可以基于 OpenAPI 标准自动生成交互式文档。默认支持 Swagger UI 与 ReDoc，允许直接从浏览器调用、测试 API，从而提高开发效率。用这个框架开发 API，真的是又快又简单。
该支持库还支持现代 Python 最佳实用功能之一：类型提示。FastAPI 在很多方面都使用了类型提示，其中最酷的一个功能是由 Pydantic 加持的自动数据验证与转换。
FastAPI 基于 Starlette 开发，性能与 NodeJS 和 GO 相当，还自带 WebSocket 与 GraphQL 原生支持。
最后，对于开源支持库而言，它的技术支持文档也非常不错。说真的，去看一下吧！
项目网址：
https://github.com/magicstack/immutables
MagicStack 的兄弟回归了，这次他们带来的是一个简单、优雅的不可变映射类型（“冻结字典”）。
这东西的好处在哪儿？呃，希望你能听得懂下面这句话，Haskell 等函数编程语言里使用的哈希数组映射字典树（HAMT）的底层数据结构。最值得注意的是，不管 set() 还是 get() 操作的性能都为 O(log N)，且对于相对较小的映射，可以达到 O(1)。
如果你的应用里字典的规模较大，并且想提高一下性能，这个酷酷的新支持库值得一试。
项目网址：
https://github.com/iodide-project/pyodide/
Pyodide 是本榜单里最刷三观的项目。通过 WebAssembly，它把 Python 科学引入到了浏览器界面，把科学计算提升到了全新的层面。
想用 Numpy 搞定一些数字？用 Pandas 处理大型 DataFrame？用 Matplotlib 为计算结果进行可视化？有了 Pyodide，这些操作在浏览器里就可以轻轻松松地实现了。
这还不算完，还有好消息：这个库可用的 Python 支持库已经超过了 35 个，您这是要上天啊。
项目网址：
https://github.com/modin-project/modin
Modin 的口号是“只改一行代码，就能加速 Pandas”，没错，就是这么简单。只要安装 Modin，更改 import 语句，在多核笔记本上，处理数据的速度就能提高 4 倍。
我滴个神 ~~ 这是怎么做到的？Modin 有自带的 modin.pandas.DataFrame 对象，这是一个轻量级的并行 DataFrame 对象。因为与 Pandas API 兼容，使用这个对象就跟是透明的一样，在后台，该支持库使用 Ray 或 Dask 作为计算引擎，执行分布式数据计算。
有的时候，获得更快的速度就是那么简单，改一两行代码就可以了，Modin 就是证明。
项目网址：
https://github.com/streamlit/streamlit
不论机器学习项目多么的超凡脱俗，都免不了要手动与模型和数据交互的工作。
与其投入无数小时，开发数千行代码的应用，Streamlit 让你可以快速搭建用来分享模型与分析的 APP。构建交互式 UI、实现数据可视化、输出分析模型现在就是小菜一碟。
有了 Streamlit，只要添加几行代码，嗖的一下，就能从 Python 脚本代码飞升为产品级 APP。TensorFlow、Keras、PyTorch、Pandas，只要是你能想到的数据科学工具，Streamlit 都已经支持了。
项目网址：
https://github.com/huggingface/transformers
从事机器学习相关工作的读者，一定会对过去的一年中自然语言处理（NLP）领域里的重大突破有所耳闻。
BERT、XLNet、roBERTa 等新涌现出来的高性能模型已经取得了长足的发展，尤其是在文本分类、机器翻译、命名实体识别等众多 NLP 领域里的高精尖突破层出不穷，让人眼花缭乱。
对业界人士来说，找到一款既能在产品级程序上利用这些模型，又不会太过复杂的工具，尤为重要。对研究者而言，一个既不用花费太多时间编写模板代码，又能调校支持库内核，不断开发、实验新模型的支持库，也非常重要。
Hugging Face 的小伙伴给我们带来了变形金刚（Transformers），这个支持库支持最现代的 NLP 模型打包、预训练等功能，而且还开箱即用。TensorFlow 2.0 与 PyTorch 之间的互操作，让该支持库达到了业界标准，完全可以为研究工作与产品级应用程序加持。该支持库由研究人员开发，因此，它的更新速度非常快，而且还在不断引入新式模型。
锦上添花：Hugging Face 团队开发了 DistilBERT，这是基于 BERT 提炼出来的，更小、更快、更省钱、更轻量的版本。
还在犹豫要不要用 Hugging Face 的变形金刚处理现代 NLP 任务？看到这篇文章就是缘分，快来试下这个在线演示，感受变形金刚的魔力吧。
项目网址：
https://github.com/facebookresearch/detectron2
Facebook AI 研究团队（FAIR）在开发对象探知、姿态估测、语义/实例分隔、全景分割等模型的同时，不断将计算机视觉（CV）推向新的高度。
就在短短的几年前，上述这些技术就像是科幻小说。我们从未对 FAIR 有过什么期望，但这回他们再一次震撼全场。
Detectron2 是 Detectron 的延续，该支持库建立在 PyTorch 之上，整合了多种高精尖的计算机视觉算法。
鉴于支持用例类型多种多样，这类支持库的开发难度特别大。与 Hugging Face 的 Transformers 类似，FAIR 团队的 Detectron2 真的很强大，其延展性与模块化的设计风格，让它在计算机视觉研究应用中独领风骚。同时，Detectron2 的应用极其简单，非常适合那些只想快速得到结果，不想了解核心算法的人。没错，只要几行 Python 代码，就可以通过 Detectron2 让你开发的软件“理解”图片。
Detectron2 能否形成生机勃勃的社区，还需要些时间来验证，但到目前为止，它的前途还是蛮光明的。很多研究人员都在为 Detectron2 研发更新、更快、更好的模型，因此，它成为计算机视觉应用“首选”解决方案的可能性很大。如果你从事计算机视觉工作，一定要对这个支持库保持密切的关注！
项目网址：
https://docs.metaflow.org/introduction/what-is-metaflow
Metaflow 这个支持库实在太新了，差点就没赶上 2019 年榜单评选！但不要因此就小瞧它：别看它 12 月 3 日才正式发布，其实它是 Netfilx 两年精雕细琢的成果，通过了长期内部实测，Netflix 才决定开源。
Metaflow 这个 Python 支持库能帮助数据科学家与数据工程师开发在现实世界中应用的实战项目。它的目标是，减轻非技术型数据科学家学习技术的负担，比如，如何利用计算资源、怎么实现并行运算、架构设计、版本控制等。Netflix 与 AWS 合作，让用户通过开箱即用的分布式计算即可轻松定义复杂数据流。
我们在 Tryolabs 内部已经评测了几个 Metaflow 核心项目。如果你也对这个工具感兴趣，请参阅 Netflix 博客的发布贴。
这一年，或者说又一个10 年马上就要过去了，开源社区这些年的对世界的贡献将对今后几年产生深远的影响。想要了解这些年的优秀开源库，就来看下我们这几年的榜单吧：2015、2016、2017、2018。
本文由 Elías Masquil, Alan Descoins 与 Germán Hoffman 合作编撰。
转自：https://mp.weixin.qq.com/s/ltty16HXd09P3lCMUB4hHQ
来自：开源最前线（ID：OpenSourceTop）
1月份GitHub上最热门的Python开源项目排行已经出炉啦，一起来看看上榜详情：
https://github.com/tiangolo/fastapi Star 9051
FastAPI 是一个 Rails 库用来快速查询相互依存的数据集合并返回时候人类阅读的、标准的 API 输出。通过构造复杂的 SQL 查询并高效使用 JOIN 和子查询。
https://github.com/google-research/ALBERT Star 3802
https://github.com/smicallef/spiderfoot Star 3802
https://github.com/PaulMcInnis/JobFunnel Star 1244
抓取工作网站，过滤和检查工作清单的工具，可用于将职位发布爬到.csv文件中。
https://github.com/facebookresearch/SlowFast Star 2005
https://github.com/donnemartin/system-design-primer Star 82155
该项目是关于如何设计大型系统，以及如何应对系统设计面试。系统设计是一个很宽泛的话题。在互联网上，关于系统设计原则的资源也是多如牛毛。这个仓库就是这些资源的组织收集，它可以帮助你学习如何构建可扩展的系统。
https://github.com/ansible/ansible Star 41269
Ansible是一个配置管理和配置工具，类似于Chef，Puppet或Salt。这是一款很简单也很容易入门的部署工具，它使用SSH连接到服务器并运行配置好的任务，服务器上不用安装任何多余的软件，只需要开启ssh，所有工作都交给client端的ansible负责。
https://github.com/pandas-dev/pandas Star 23377
Pandas 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。Pandas的名称来自于面板数据(panel data)和python数据分析(data analysis)。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。
https://github.com/kon9chunkit/GitHub-Chinese-Top-Charts Star 14343
https://github.com/mlflow/mlflow Star 5832
MLflow 是由 Apache Spark 技术团队开源的一个机器学习平台，主打开放性：
开放接口：可与任意 ML 库、算法、部署工具或编程语言一起使用。
开源：开发者可轻松地对其进行扩展，并跨组织共享工作流步骤和模型。
https://github.com/openai/spinningup Star 4105
转自：https://mp.weixin.qq.com/s/rdfP0PNdz0OKOS7ZU1QdRw
来源：机器之心
# slow_program.py
from decimal import *
def exp(x):
getcontext().prec += 2
i, lasts, s, fact, num = 0, 0, 1, 1, 1
while s != lasts:
lasts = s
i += 1
fact *= i
num *= x
s += num / fact
getcontext().prec -= 2
return +s
exp(Decimal(150))
exp(Decimal(400))
exp(Decimal(3000))~ nbsp;time python3.8 slow_program.py
real 0m11,058s
user 0m11,050s
sys 0m0,008s~ nbsp;python3.8 -m cProfile -s time slow_program.py
1297 function calls (1272 primitive calls) in 11.081 seconds
Ordered by: internal time
ncalls tottime percall cumtime percall filename:lineno(function)
3 11.079 3.693 11.079 3.693 slow_program.py:4(exp)
1 0.000 0.000 0.002 0.002 {built-in method _imp.create_dynamic}
4/1 0.000 0.000 11.081 11.081 {built-in method builtins.exec}
6 0.000 0.000 0.000 0.000 {built-in method __new__ of type object at 0x9d12c0}
6 0.000 0.000 0.000 0.000 abc.py:132(__new__)
23 0.000 0.000 0.000 0.000 _weakrefset.py:36(__init__)
245 0.000 0.000 0.000 0.000 {built-in method builtins.getattr}
2 0.000 0.000 0.000 0.000 {built-in method marshal.loads}
10 0.000 0.000 0.000 0.000 <frozen importlib._bootstrap_external>:1233(find_spec)
8/4 0.000 0.000 0.000 0.000 abc.py:196(__subclasscheck__)
15 0.000 0.000 0.000 0.000 {built-in method posix.stat}
6 0.000 0.000 0.000 0.000 {built-in method builtins.__build_class__}
1 0.000 0.000 0.000 0.000 __init__.py:357(namedtuple)
48 0.000 0.000 0.000 0.000 <frozen importlib._bootstrap_external>:57(_path_join)
48 0.000 0.000 0.000 0.000 <frozen importlib._bootstrap_external>:59(<listcomp>)
1 0.000 0.000 11.081 11.081 slow_program.py:1(<module>)
...def timeit_wrapper(func):
@wraps(func)
def wrapper(*args, **kwargs):
start = time.perf_counter() # Alternatively, you can use time.process_time()
func_return_val = func(*args, **kwargs)
end = time.perf_counter()
print('{0:<10}.{1:<8} : {2:<8}'.format(func.__module__, func.__name__, end - start))
return func_return_val
return wrapper@timeit_wrapper
def exp(x):
...
print('{0:<10} {1:<8} {2:^8}'.format('module', 'function', 'time'))
exp(Decimal(150))
exp(Decimal(400))
exp(Decimal(3000))~ nbsp;python3.8 slow_program.py
module function time
__main__ .exp : 0.003267502994276583
__main__ .exp : 0.038535295985639095
__main__ .exp : 11.728486061969306import functools
import time
# caching up to 12 different results
@functools.lru_cache(maxsize=12)
def slow_func(x):
time.sleep(2) # Simulate long computation
return x
slow_func(1) # ... waiting for 2 sec before getting result
slow_func(1) # already cached - result returned instantaneously!
slow_func(3) # ... waiting for 2 sec before getting result# Example #1
class FastClass:
def do_stuff(self):
temp = self.value # this speeds up lookup in loop
for i in range(10000):
... # Do something with `temp` here
# Example #2
import random
def fast_function():
r = random.random
for i in range(10000):
print(r()) # calling `r()` here, is faster than global random.random()
使用函数
def main():
... # All your previously global code
main()# Slow:
import re
def slow_func():
for i in range(10000):
re.findall(regex, line) # Slow!
# Fast:
from re import findall
def fast_func():
for i in range(10000):
findall(regex, line) # Faster!f'{s} {t}' # Fast!
s + ' ' + t
' '.join((s, t))
'%s %s' % (s, t)
'{} {}'.format(s, t)
Template('$s $t').substitute(s=s, t=t) # Slow!转自：https://mp.weixin.qq.com/s/hidWQghW3Gy_ysqGlS5MRA