比英伟达快20倍！哈佛停学生发布大模型芯片 归于AI的“矿机革新”要来了？

  你还记得暗码钱银的矿机吗？2013年，专为比特币挖矿而规划的ASIC芯片面世，与之前占主导地位的CPU和GPU比较，ASIC的挖矿功率完成了质的腾跃，革新性地改动比特币挖矿格式。

  而近来，一家叫做Etched的硅谷草创公司凭仗其用于AI的ASIC芯片，从最底层的架构层面为干流AI大模型公司所选用的Transformer核算供给更优性价比的挑选，在AI硬件范畴掀起了波涛。

  Etched由哈佛停学生Gavin Uberti和Chris Zhu于2022 年创建，他们开发了一款名为Sohu的专为Transformer模型规划ASIC芯片。

  Etched宣称，Sohu芯片推理Llama-3 70B的速度比英伟达的H100快20倍，而功耗却大大下降。

  Etched刚刚获得了1.2亿美元的新融资，由 Primary Venture Partners 和 Positive Sum Ventures 领投，Peter Thiel、Github首席执行官Thomas Dohmke和前Coinbase首席技能官Balaji Srinivasan等闻名投资者也参加了本轮融资。

  跟着Transformer模型不断推进生成式AI打破，Sohu芯片被以为有望在AI推理侧打破英伟达GPU一家独大的格式，重塑AI核算的格式。

  GPU中包括多种运算单元，如FP64、FP32、INT、TensorCore等结构。处理恣意CUDA代码需求杂乱的编译器，芯片开发商往往需求在软件开发上投入了超越数十亿美元的本钱，但成效有限。

  而Etched则缩小了焦点。经过专用于运转Transformers，Etched能够简化软件开发，并偏重TensorCore，针对性地提高AI运算才能。

  因为大多数AI公司运用特定的Transformer推理库，如TensorRT-LLM、vLLM或HuggingFace的TGI，这些结构足以满意大多数需求。

  而文本、图画或视频等不同使用中的Transformer模型根本类似，这使得客户能在不改动中心模型代码的情况下调整模型超参数。

  顶尖AI公司常常要定制解决方案，延聘工程师对GPU内核进行精心优化。而Etched经过敞开从驱动程序到内核的整个软件栈，消除逆向工程的需求。这种敞开性答应工程师依据需求施行定制Transformer层，提高了灵活性。

  此外，Sohu芯片减少了用于存储器的空间，而将更多空间用于核算用处的晶体管，并经过只要一个大内核的规划，减少了用来和谐不同内核的低效核算。

  不过，假如敏捷呈现替代Transformer的新算法，则Sohu芯片将失掉价值。“咱们正在AI范畴下最大的赌注，”Gavin Uberti在承受媒体采访时说。”假如Transformer消失了，咱们就会死。但假如它们持续存在，咱们便是有史以来最大的公司。”

  事实上，大型云厂商也在经过自研或代研ASIC参加AI军备竞赛。当下，海外ASIC规划巨子的财报已然呈现了一些活跃的改变。依据博通2024财年一季报，该季度，公司网络业务收入为33亿美元，同比增加46%，首要得益于2家超大规模客户对定制人工智能加速器的微弱需求。

  博通估计AI占2024财年半导体收入的25%，现上调指引至35%，超越100亿美元，其间70%是AI加速器。

  近来就有音讯称，字节跳动正与博通合作开发一款5纳米用于AI的ASIC芯片，并由台积电出产，但字节跳动否认了该音讯。

  国盛证券在3月20日的研报中指出，从大局来看，ASIC放量与对应的算力降本，是大模型走向一个更大工业的必经之路，但AI的算力叙事满足庞大，与比特币的一轮替代便成结局不同，咱们我们都以为在AI芯片的开展上，将会阅历多轮螺旋上升式的开展，终究到达全社会的AGI，新的模型与算法经过通用性GPU被发现和开始开发，经过专用ASIC将需求昌盛，昌盛的生态招引更多用户与参加者，终究培养出新的、更强的算法，循环往复，螺旋上升，终究达到AGI的宏伟目标。

  国盛证券主张重视一线晶圆厂、ASIC规划龙头、散热厂商、ASIC芯片公司、服务器。其间，关于ASIC芯片公司，引荐寒武纪、芯原股份、嘉楠科技。