从Linux上载10,000,000个文件到Azure blob存储

我有一些S3的经验,并且在过去使用过s3-parallel-put来放置许多(数百万)个小文件.与Azure相比,S3的PUT价格昂贵,所以我想切换到Azure.

但是,我似乎无法弄清楚如何使用azure cli将本地目录同步到远程容器.特别是,我有以下问题：

1- aws客户端提供同步选项.天蓝有这样的选择吗？

2-我可以使用cli同时将多个文件上传到Azure存储吗？我注意到有一个-concurrenttaskcount标志用于azure存储blob上传,所以我认为原则上它必须是可能的.

解决方法

如果您更喜欢命令行并拥有最近的
Python解释器,那么Azure批处理和HPC团队已经发布了一个代码示例,其中包含一些
AzCopy-like functionality on Python called blobxfer.这允许完整的递归目录进入Azure存储以及完整的容器副本返回到本地存储. [完全披露：我是此代码的撰稿人]

回答你的问题：

> blobxfer支持使用MD5校验和比较入口和出口的类似rsync的操作> blobxfer在单个文件和多个文件中执行并发操作.但是,您可能希望在多个目录和容器之间拆分输入,这不仅有助于减少脚本中的内存使用量,而且还可以更好地划分负载