Data Science Archive

来自 Google的一个图像数据生成器，用自带的基础构建元素加上 blender 做渲染生成别的图，任务类型基本都是涵盖了，对于内嵌的这些元素我觉得还是有点少，如果有社区（GitHub 或者 Blender）贡献应该前途光明。有时候数据采集不是问题，合规是大问题。 https://github.com/google-research/kubric

一个新的分子式推算生成工具，FastFlows。从名字也可以看出来基本上就是用了 NF，从功能的角度来说和 VAE，GAN 什么的区别并不大，不过NF 的目标换成了去寻找一个和数据集后验分布一样的分布，也可以计算似然，用双射映射的一系列操作把原始分布弄成新的分布，经典案例就是对高斯分布作各种花里胡哨的转换。我个人对 NF 没有太多特别的感觉，这个框架感觉也只是用了 NF 做一个实验，没看出来有什么量化效果比 VAE 或者 GAN更好。 不过这个 repo 挺牛逼的，都是化学，生物，和材料领域一些深度学习的应用，tutorial 挺全的。 https://github.com/deepchem/deepchem/

之前推过一篇 Facebook 的 ConvNeXT，今天又看到一个上个星期新出来的 XFormer，直接把二次的 attention 换成了线性 attention，也是在 ViTs 的基础上想办法减少资源使用。没看到什么别的新奇的地方。主要就是减少 GPU 使用，对数据量要求也低了不少，我没做实验。https://arxiv.org/abs/2201.10271，作者给了代码：https://github.com/pranavphoenix/cxv

今天看了一篇介绍屏障法的文章，图文并茂，还有真代码一行一行解有约束的含有不等式的最优化问题。虽然标题有内点法，但是没有提内点法中的原始对偶方法。其实这两个方法都是在面对 KKT 条件的时候的思考，不过对对偶变量的处理看待角度不同，朴素的求解都是用牛顿法。如果你对普通的等式约束，KKT 条件，拉格朗日方法有了解的，这篇文章读起来就更容易了。https://towardsdatascience.com/how-to-solve-constrained-optimization-problem-the-interior-point-methods-1733095f9eb5

分享一篇介绍 Data Leak 的文章，说起 data leak 我早期是真的深受其害，毕竟真实世界的线上业务永远有一个特别的维度：时间。理论上完全服从独立同分布业务数据/问题并不多，所以很多时候我们是直接把时间维度忽略掉。若干年前参加过知乎的一次给短文本预测 tag 的竞赛最后也是因为当时原始数据存在一些 data leak（知乎作为举办方提供数据的时候把时间轴抹掉，但是数据本身又其实是时间排序的），最后的排名引起挺大的争议。对于 data leak 系统地考虑是线上数据科学工作非常重要的一环。https://towardsdatascience.com/data-science-mistakes-to-avoid-data-leakage-e447f88aae1c

今天收拾东西返乡，祝大家春节愉快！

新看到一个 MLOps 的工具，比较新，比较好看，其他暂时没发现什么别的特别之处。https://github.com/polyaxon/polyaxon

分享一篇很有趣的 文章。用梯度提升的方法来改进 ARIMA，AutoARIMA 先拿到起始参数，Boosting 过程和普通 GBM 一样都是用残差代替梯度计算。角度倒是听新颖的， 就是听着可能速度有点慢，而且不能确定序列角度来说 Boosting 是否真的有意义，作者在 Kaggle 去年的 M4 上做了些实验，看着还行，有点意思。轮子在这里：https://github.com/tblume1992/ThymeBoost

今天读到一篇不错的文章，讨论了 IBM FreaAI 的一些分析过程，前面还有两篇概要也可以一起读。文章着重对树模型划分出来的各个小区间做评估，找到隐患最大的地方。大体的流程上是对原始特征做直方图，随后到 PDF，再不断便利 Y 轴找到既定的 metric 剧烈变化的地方。可以配合树模型自己算出来的信息熵一起用。这个技巧不是太常见，我只在两年前某一次 Kaggle 竞赛中遇到，举办方弄了一些诡异的合成数据…… https://towardsdatascience.com/how-to-find-weaknesses-in-your-machine-learning-models-3bcce3c7d71e

MAPIE：https://github.com/scikit-learn-contrib/MAPIE, NIPS 2020 spotlight有一篇讨论预测边界/区间的 文章，蛮有意思的，当年作者原来的实现也被系统集成进了新的轮子里面，值得一玩。理论偏多，我非常建议读读文章，对 jackknife+, CV+, predictive inference, 不确定性估计不太了解的可以在这个 repo 里面随便翻一些文章做些背景了解。

说到特征降维/选择的问题，大部分EDA的套路都是从model训练的loss来判断feature importance。其实有一个简单易行而且很有效的办法是在CV里面用做feature permutation，对原始特征shuffle得到shadow（也可以加一些噪音），在通过zscore比较两者差异来判断importance，不断遍历筛选。在ESLII中593页有提到这个办法。R里面有一个包Boruta可以做这件事，py也有：https://github.com/scikit-learn-contrib/boruta_py

单纯的 Boruta 判断特征的时候会依照二项分布的接受或者拒绝来判定对前面生成的影子特征进行筛选。所以如果把 Boruta 的第二阶段（特征metric排序以及筛选）单独拿出来，其实是可以用别的方案进行替换的，比如 SHAP（这里的引用来源也是我之前推荐的一本电子书《interpretable-ML》，强烈推荐）。也确实有轮子在做这样的事情，我自己找了一个 Kaggle 上的 Tabular Dataset 试了一下独立工作效果不太明显，不过提供另外一种特征筛选的方法来做 ensemble 应该是有提升的（吧）。轮子在这里：BorutaShap https://github.com/Ekeany/Boruta-Shap

推荐一篇博客，作者介绍在 DS 项目中写测试。毕竟 ML 的项目测试起来和传统的程序不是太一样，除了最基础的 assert, pytest 这些之外对数据的分布和数据一些统计指标也需要做测试。文中提到的几个工具 Hypothesis 和 Pandera 我都是用过的，Pandera 很好用，也可以原生集成给 Pandas/Koalas（Koalas 也是我配合 PySpark 最常用的 DataFrame 工具）。https://www.peterbaumgartner.com/blog/testing-for-data-science/

FB 最近的 ConvNeXt 看起来满强的，实验结果能打 ViT/SwinTransfomer，纯ConvNet 结构，在 MLP-Mixer 之后我越来越觉得在经历一段军备竞赛之后终于回到似乎是回到对结构探索的正确道路上。从算力有限时代的 MLP 到快速又符合直觉的ConvNet滤波计算，出现瓶颈并拥有更多的算力后再去看曾经的结构总是有不一样的启发。不知道下一次能看到像 ResNet 一样留下普世启发的结构是什么时候。https://github.com/facebookresearch/ConvNeXt

Deepchecks 是目前我发现关于模型的离线检查和生产环境监控最好的工具，尤其是项目给出的 Suite 和 Condition 的概念。目前只能在 notebook 里面用，暂时还不支持 HTML 或者 pdf。项目很新，值得关注。https://github.com/deepchecks/deepchecks

AlibiExplain 应该是这几年看到的在机器学习模型可解释性上做得最系统的工具，堪称知识库型文档，毕竟不能只了解一点 SHAP。https://docs.seldon.io/projects/alibi/en/latest/index.html

最近在做简单地离线 demo 的时候开始使用 https://streamlit.io ，在这之前我大概用了一两年的 Dash，就目前的感觉比 Dash 的准备时间少了不止一半。在 2022 年，我想如果不出意外的话，有交互的将会锁定使用 streamlit.io，静态的使用 http://datapane.com

最近在上线前彻查API，不少收获来自内部也是开放的指南。https://github.com/microsoft/api-guidelines/blob/vNext/Guidelines.md

意外发现一篇特别好的频率派和贝叶斯派的博文：http://jakevdp.github.io/blog/2014/03/11/frequentism-and-bayesianism-a-practical-intro/

最近针对时间序列拆解重新理解的时候发现对 additive model 理解仍然有一些偏差。发现通用解法中用b-样条基函数的有点绕，终于在看了pyGAM这个包的源码和文档中完全搞懂，不过平滑约束的程度很难有点难顶就是了。https://github.com/dswah/pyGAM

最近重新开始接触时间序列，找到一个蛮不错的基础教材，准备开始恶补。http://www.math.pku.edu.cn/teachers/lidf/course/atsa/atsanotes/html/_atsanotes/index.html

本来以为是个水货，结果刚点进去就发现了Pharebank 这个好东西，强烈推荐给有协作需求的在读 PhD。https://www.annaclemens.com/blog/16-free-tools-scientists-write-better-more-productively

关于 Tabular dataset 中 GBM 的一些意见，虽说是目前为止（或者未来的一段时间）应该还将继续是 STOA，但是或多或少会有一些用浅层 NN 融合的方案来继续提升性能，比较重要的一份参考是两年前的 https://www.kaggle.com/c/porto-seguro-safe-driver-prediction/discussion/44629 来源一条CPMP 的推文以及讨论：https://twitter.com/JFPuget/status/1233379034425384960

CUDA 层面重新实现的几种 RNN，自带Zoneout 和DropConnect，试用了一下 Py 和 C++的 API，确实是快非常多，API 可设定的参数还不是太多。https://github.com/lmnt-com/haste

来自 Huggingface 的 tokenizer，Rust 实现，确实速度惊人。https://github.com/huggingface/tokenizers

HuggingFace Transformers 包加了几组中文的 pre-trained models，包括 BERT-wwm, RoBERTa-wwm, XLNet，来自哈工大和讯飞。https://github.com/ymcui/Chinese-BERT-wwm/blob/master/README_EN.md

2019 ACL Salesforce Research 上常识阅读理解paper 的 code 更新，依赖 huggingface 的 transformers，看过 demo 还是非常不错的。https://github.com/salesforce/cos-e

一个 Time series 数据集补空的工具，集成了几乎全部所需的统计方法，transform 上也是该有的都用，Box-Cox 什么的，几乎不需要底层的那些 DS工具包了，api上兼容了 scikit-learn，用法和功能和 R 里面的auto.arima 一样，只多不少。https://github.com/alkaline-ml/pmdarima

PTP 是 IBM 出品的一个为 PyTorch 服务的部署框架。看了一下涵盖的领域比较全面，CV，NLP 都有，各种 pre-trained model 也比较全，甚至包含了许多评测基准和现成的一些更 high-level 的模型结构。非常适合快速实验。https://github.com/ibm/pytorchpipe

中间这段时间一直在面试换工作，现在基本稳定之后会继续更新和收集相关工作资料。感谢订阅的朋友。

说到特征降维/选择的问题，大部分EDA的套路都是从model训练的loss来判断feature importance。其实有一个简单易行而且很有效的办法是在CV里面用做feature permutation，对原始特征shuffle得到shadow（也可以加一些噪音），在通过zscore比较两者差异来判断importance，不断遍历筛选。在ESLII中593页有提到这个办法。R里面有一个包Boruta可以做这件事，py也有：https://github.com/scikit-learn-contrib/boruta_py

晚上有一个朋友看到推送问我，对categorical feature 为什么要做target encoding。其实这比较取决于模型，不过对于tabular data常用的tree based model来说，OHE是比较差的，如果是用xgboost需要自己做target encoding，catBoost/lightGBM不需要，自带了。https://medium.com/data-design/visiting-categorical-features-and-encoding-in-decision-trees-53400fa65931

最近在用一些非监督方法做降维的时候，发现在categorical feature有时候MCA比传统的PCA要好一些，（不过有时候先做target encoding再用普通的PCA也不错）。用了一段时间Prince，简单好用，性能不错。https://github.com/MaxHalford/Prince

上周在造一个CTR项目轮子的时候又系统回顾了一些非复杂DNN模型的hyper param optmization 的方法和工具，发现一个新的工具：Optuna https://github.com/pfnet/optuna

RAdam + LookAhead 实验结果还是有点奇怪的，不是太明朗的感觉。一个用fastdoai的实现。https://medium.com/@lessw/new-deep-learning-optimizer-ranger-synergistic-combination-of-radam-lookahead-for-the-best-of-2dc83f79a48d

关于Pandas apply/groupby 并行老生常谈的问题，一直觉得dask不好用，需要转来转去，刚刚发现一个简单好用的工具。https://github.com/nalepae/pandarallel

Chip Huyen是我非常喜欢的一个越南裔斯坦福的老师，产出博客和课程质量非常高，项目也都挺有趣。这是她的博客：https://huyenchip.com/ 不过这次想分享的是她在推上写的关于ML eng/Data Scientist面试的一些琐碎，信息量很大，这条推看起来会一直更新下去，直到整理成书籍：https://twitter.com/chipro/status/1152077188985835521 以及每条推的评论部分也很值得一读

今天在推上被一位朋友问到AutoML的入门资料，我想了一下之前看过第四范式的这篇Survey，他们一直在KDD Cup/NIPS上承办AutoML Challenge。这篇入门survey也是我看过的写得最好的，2018年11月提交，2019年1月最后一次revised，内容够新够全。https://arxiv.org/abs/1810.13306 AutoML的很多工作都是集中于超参数调节，虽然我觉得它很多时候没有CV/NLP方向那么生动，却还是有自己很独特的魅力，落地价值也很强。

一份Data Visualization Style Guidelines的资源列表，作者收集挺精心的。https://medium.com/data-visualization-society/style-guidelines-92ebe166addc 这份excel里面有非常多的细节，包括如何选择合适的chart，style，甚至有的里面还有每一种颜色的使用场景，还是蛮有意思的。 https://docs.google.com/spreadsheets/d/1F1gm5QLXh3USC8ZFx_M9TXYxmD-X5JLDD0oJATRTuIE/edit#gid=1679646668

Voila是一个新的Jupyter做可视化的插件，可以把notebook直接转换成standalone的web app。试了一下还是不错的，数据量大的情况有点卡。不过我自己现在都是更喜欢用plotly的Dash，更漂亮点，生成的HTML也更方便嵌入其他的文档说明页 like Python Sphinx。不过也算是多一个选择：https://blog.jupyter.org/a-gallery-of-voil%C3%A0-examples-a2ce7ef99130

最近在看一些NLP项目corpus的序列化部分，http://matthewrocklin.com/blog/work/2015/03/16/Fast-Serialization 文章有点老，实验部分尚可一看。

https://github.com/PacktPublishing/Hands-On-Data-Structures-and-Algorithms-with-Rust 使用Rust入手数据结构和算法 数据结构和算法是每种计算机语言都要面对的基础知识，而Rust由于独特的所有权问题，在实现数据结构和算法时需要一定技巧，也更能体会语言的独特性。这个repo保存了书里所有例子代码，可以用来入门，也可以用来查阅具体算法的写法。

如何管理ML实验结果和模型其实是一个老生常谈的问题，reddit这个帖子总结的一些工具还是不错的，下面的评论不少也值得一看。 https://old.reddit.com/r/MachineLearning/comments/bx0apm/d_how_do_you_manage_your_machine_learning/

Catalyst 19.06rc2 把 TensorFlow 的依赖全去掉了，完全使用 PyTorch。新版本还没试用，不过把tf去掉倒是一个好消息。 link：https://catalyst-team.github.io/catalyst/index.html Sergey的介绍：https://docs.google.com/presentation/d/1NQGWb53Kqm-f3hZ2JIoHjX-he3C39eOcSszZzp5o07U/edit#slide=id.p

BAMBI 是一个在PyMC3上的Python高级api，如果你经常用Bayesian statistical model的话，可以一试。我只用过PyMC3，打算试试这个BAMBI，希望好用。https://github.com/bambinos/bambi

Sequence-Aware Recommender Systems 的一份Tutorial，之前在做实验的时候也发现Session Based 的RNN做推荐效果是相当好的，尤其是在典型的存在序列Session的场景，例如YouTube连续剧，短视频流等等。https://github.com/mquad/sars_tutorial

一些生成模型的collections，TF2+Keras，货都在colab上。https://github.com/timsainb/tensorflow2-generative-models/

Foundations of Data Science，一份来自MSR India的资料，作者是MSR India的DataScience Lead。看一眼，书质量非常高。https://www.cs.cornell.edu/jeh/book.pdf

还有一份CS229的Cheat Sheet：https://stanford.edu/~shervine/teaching/cs-229/

一份spaCy的cheat sheet：http://datacamp-community-prod.s3.amazonaws.com/29aa28bf-570a-4965-8f54-d6a541ae4e06