用好 Shell 本身的命令,在处理文本文件方面真的可以大大提升性能。作者使用简单的 Shell 命令完成了统计需求,这比使用庞大的 Hadoop 集群完成同样需求的速度提升了 200+ 倍。虽然这样的比较可能有失公允,但「用大炮打蚊子」这种错,我们可能经常犯。

Command-line Tools can be 235x Faster than your Hadoop Cluster - Adam Drake
⭐️⭐️⭐️
 
 
Back to Top