评论:光学计算如何塑造ChatGPT的未来

3分钟读取

Lumai首席执行官兼联合创始人Tim Weil表示,光学计算是一种创新的、改变游戏规则的技术,可以应用于加速ChatGPT等耗电的人工智能模型。

AdobeStock

ChatGPT被誉为革命性的生成式人工智能模型,正如其描述的那样,它可以为人类的问题生成智能形成的答案。虽然它在准确性、偏见和过度自信地描绘虚假事实方面存在缺陷,但它也提供了作为创造性工具和思想煽动者的可能性领域。不可否认,潜力是存在的。

为了简化日常工作,企业已经抓紧时间采用ChatGPT。而且,随着OpenAI最近发布了GPT-4,对生成式人工智能的兴趣只会继续增长。它类似人类的对话文本已经支持了广泛的应用,从研究到代码编写,再到优化客户入职过程。随着聊天机器人自然发音的文本输出为现有任务提供了快速、简单和变革性的方法,前景似乎已经无限。然而,这种对其能力的突然依赖让我们想知道它将如何继续进化,以支持激增的计算需求。

传统硬件跟不上

尽管生成式人工智能被大肆宣传,但限制进步的障碍已经很明显了。除了提供响应的限制外,ChatGPT还受到其训练数据的进一步限制。当ChatGPT首次发布时,它是使用2021年9月之前获得的巨大数据集进行训练的,因此聊天机器人只能在过时的信息基础上运行,无法正确解释最新的信息。当然,它可以使用更新的数据集频繁地重新训练,但这将伴随着大幅提高的运营成本。

更多关于人工智能

除此之外,还需要考虑运行ChatGPT所需的图形处理单元(gpu)的数量。gpu最初是为图形渲染而设计的,在过去的十年里,gpu已经成为人工智能的主要主力,因为它们可以同时处理许多不同的数据点。然而,即使使用当今最先进的GPU,我们的分析表明,如果每天更新ChatGPT,仍然需要超过50,000个GPU来训练它,而更好的模型需要更多的计算能力。如果下一款机型需要10倍甚至100倍的gpu呢?1000年代?显然存在可伸缩性的问题。

更多来自电子产品

像ChatGPT这样的模型使用了数千亿个“参数”,所以它们最终会达到计算能力的上限,因为硬件将无法维持所需的模型大小。处理能力已经成为人工智能模型发展的主要障碍,硬件越来越难以满足不断增长的计算需求,以支持突破性的人工智能模型。现在迫切需要一种解决方案,可以克服传统计算设置的扩展限制。这就是光学的用武之地。

利用光学计算释放下一代人工智能的全部潜力

最重要的是,现有的基于晶体管的计算硬件正在努力跟上对更快计算的不断增长的需求。光学计算技术可以开启计算能力、速度和内存访问的全新领域。它具有可扩展性、可持续性,并与现有的人工智能算法兼容,为推动ChatGPT等模型的发展提供了可行的途径,并实现了我们希望实现的势头。但如何?

光学人工智能加速器已经可以使用现有技术构建,对于大型生成式人工智能模型,它们的性能将超过传统的数字处理器。光学进行并行计算,与按顺序计算的数字处理器相比,能够在单位时间内执行更多的计算。光的使用意味着光学计算不受数字方法的限制。相反,光学技术提供了与光速一样快的传输时间,并行处理提供了前所未有的规模。

使用先进的光学技术,计算速度可以提高100-1000倍,而且还可以节省100倍的能源。光学器件的时钟速度也明显高于数字电子器件的1GHz,最高可达100GHz。与电子技术相比,光学技术仍有很大的发展空间。

显然,为了满足这种扩展人工智能的需求,该行业需要范式转变,转向更适合这项任务的硬件。光学计算是一种创新的、改变游戏规则的技术,可以应用于加速这些耗电的人工智能模型。它为传统计算硬件的缺点提供了可行的解决方案,并将使行业进入人工智能的新时代。

Tim Weil,首席执行官和联合创始人,鲁麦