python – joblib和pickle的不同用例是什么?

背景:我刚刚开始学习scikit,并在页面底部阅读约
joblib,versus pickle.

it may be more interesting to use joblib’s replacement of pickle (joblib.dump & joblib.load),which is more efficient on big data,but can only pickle to the disk and not to a string

我读了这个Q& A的Pickle,
Common use-cases for pickle in Python,想知道这里的社区是否可以分享joblib和pickle之间的差异?何时应该使用另一个?

解决方法

joblib通常在大数字数组上显着更快,因为它对numpy数据结构的数组缓冲区有特殊的处理.要了解实现细节,您可以查看
source code.它也可以在使用zlib酸洗的同时压缩该数据.

joblib还可以在加载时将存储器映射到未压缩的joblib-pickled numpy数组的数据缓冲区,这样可以在进程之间共享内存.

dawei

【声明】:唐山站长网内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。