星空体育官网中国工程院院士孙凝晖谈AI:拼算法还是拼新型基础设

发布时间:2024-06-05 07:41:52|来源:星空体育app下载| 作者:星空体育app官方下载

  据中国网4月30日消息,中国网刊登中国工程院院士、中国科学院计算技术研究所所长孙凝晖在十四届全国会专题讲座上的讲稿《

  孙凝晖表示,领域近年来正在迎来一场由生成式大模型引领的爆发式发展。2022年11月30日,OpenAI公司推出一款人工智能对话聊天机器人ChatGPT,其出色的自然语言生成能力引起了全世界范围的广泛关注,2个月突破1亿用户,国内外随即掀起了一场大模型浪潮,Gemini、文心一言、Copilot、LLaMA、SAM、SORA等各种大模型如雨后春笋般涌现,2022年也被誉为大模型元年。当前信息时代正加快进入智能计算的发展阶段,人工智能技术上的突破层出不穷,逐渐深入地赋能千行百业,推动人工智能与数据要素成为新质生产力的典型代表。

  孙凝晖指出,大模型的出现带来了三个变革。一是技术上的规模定律,即很多AI模型的精度在参数规模超过某个阈值后模型能力快速提升,其原因在科学界还不是非常清楚,有很大的争议。AI模型的性能与模型参数规模、数据集大小、算力总量三个变量成“对数线性关系”,因此可以通过增大模型的规模来不断提高模型的性能。目前最前沿的大模型GPT-4参数量已经达到了万亿到十万亿量级,并且仍在不断增长中;

  二是产业上算力需求爆炸式增长,千亿参数规模大模型的训练通常需要在数千乃至数万GPU卡上训练2-3个月时间,急剧增加的算力需求带动相关算力企业超高速发展,英伟达的市值接近两万亿美元,对于芯片企业以前从来没有发生过;

  三是社会上冲击劳动力市场,北京大学国家发展研究院与智联招聘联合发布的《AI大模型对我国劳动力市场潜在影响研究》报告指出,受影响最大的20个职业中财会、销售、文书位于前列,需要与人打交道并提供服务的体力劳动型工作,如人力资源、行政、后勤等反而相对更安全。

  人工智能的技术前沿将朝着以下四个方向发展。第一个前沿方向为多模态大模型。从人类视角出发,人类智能是天然多模态的,人拥有眼、耳、鼻、舌、身、嘴(语言),从AI视角出发,视觉,听觉等也都可以建模为token的序列,可采取与大语言模型相同的方法进行学习,并进一步与语言中的语义进行对齐,实现多模态对齐的智能能力。

  人工智能领域近年来正在迎来一场由生成式人工智能大模型引领的爆发式发展。2022年11月30日,OpenAI公司推出一款人工智能对话聊天ChatGPT,其出色的自然语言生成能力引起了全世界范围的广泛关注,2个月突破1亿用户,国内外随即掀起了一场大模型浪潮,Gemini、文心一言、Copilot、LLaMA、SAM、SORA等各种大模型如雨后春笋般涌现,2022年也被誉为大模型元年。当前信息时代正加快进入智能计算的发展阶段,人工智能技术上的突破层出不穷,逐渐深入地赋能千行百业,推动人工智能与成为新质生产力的典型代表。习总指出,把新一代人工智能作为推动科技跨越发展、产业优化升级、生产力整体跃升的驱动力量,努力实现高质量发展。党的以来,以习同志为核心的党中央高度重视智能经济发展,促进人工智能和实体经济深度融合,为高质量发展注入强劲动力。

  计算技术的发展历史大致可分为四个阶段,算盘的出现标志着人类进入第一代——机械计算时代,第二代——电子计算的标志是出现电子器件与电子计算机,互联网的出现使我们进入第三代——网络计算,当前人类社会正在进入第四阶段——智能计算。

  早期的计算装置是手动辅助计算装置和半自动计算装置,人类计算工具的历史是从公元1200年的中国算盘开始,随后出现了纳皮尔筹(1612年)和滚轮式加法器(1642年),到1672年第一台自动完成四则运算的计算装置——步进计算器诞生了。

  机械计算时期已经出现了现代计算机的一些基本概念。查尔斯巴贝奇(Charles Babbage)提出了差分机(1822年)与分析机(1834年)的设计构想,支持自动机械计算。这一时期,编程与程序的概念基本形成,编程的概念起源于雅卡尔提花机,通过打孔卡片控制印花图案,最终演变为通过计算指令的形式来存储所有数学计算步骤;人类历史的第一个程序员是诗人拜伦之女艾达(Ada),她为巴贝奇差分机编写了一组求解伯努利数列的计算指令,这套指令也是人类历史上第一套计算机算法程序,它将硬件和软件分离,第一次出现程序的概念。

  直到在二十世纪上半叶,出现了布尔代数(数学)、图灵机(计算模型)、冯诺依曼体系结构(架构)、晶体管(器件)这四个现代计算技术的科学基础。其中,布尔代数用来描述程序和硬件如CPU的底层逻辑;图灵机是一种通用的计算模型,将复杂任务转化为自动计算、不需人工干预的自动化过程;冯诺依曼体系结构提出了构造计算机的三个基本原则:采用二进制逻辑、程序存储执行、以及计算机由运算器、、存储器、输入设备、输出设备这五个基本单元组成;晶体管是构成基本的逻辑电路和存储电路的半导体器件,是建造现代计算机之塔的“砖块”。基于以上科学基础,计算技术得以高速发展,形成规模庞大的产业。

  从1946年世界上第一台电子计算机ENIAC诞生到二十一世纪的今天,已经形成了五类成功的平台型计算系统。当前各领域各种类型的应用,都可以由这五类平台型计算装置支撑。第一类是高性能计算平台,解决了国家核心部门的科学与工程计算问题;第二类是企业计算平台,又称服务器,用于企业级的数据管理、事务处理,当前像百度、阿里和腾讯这些互联网公司的计算平台都属于这一类;第三类是个人电脑平台,以桌面应用的形式出现,人们通过桌面应用与个人电脑交互;第四类是智能手机,主要特点是移动便携,手机通过网络连接数据中心,以互联网应用为主,它们分布式地部署在和手机终端;第五类是嵌入式计算机,嵌入到工业装备和军事设备,通过实时的控制,保障在确定时间内完成特定任务。这五类装置几乎覆盖了我们信息社会的方方面面,长期以来人们追求的以智能计算应用为中心的第六类平台型计算系统尚未形成。

  现代计算技术的发展大致可以划分为三个时代。IT1.0又称电子计算时代(1950-1970),基本特征是以“机”为中心。计算技术的基本架构形成,随着集成电路工艺的进步,基本计算单元的尺度快速微缩,晶体管密度、计算性能和可靠性不断提升,计算机在科学工程计算、企业数据处理中得到了广泛应用。

  IT2.0又称网络计算时代(1980-2020),以“人”为中心。互联网将人使用的终端与后台的连接,互联网应用通过智能终端与人进行交互。以亚马逊等为代表的互联网公司提出了云计算的思想,将后台的算力封装成一个公共服务租借给第三方用户,形成了与大数据产业。

  IT3.0又称智能计算时代,始于2020年,与IT2.0相比增加了“物”的概念,即物理世界的各种端侧设备,被数字化、网络化和智能化,实现“人-机-物”三元融合。智能计算时代,除了互联网以外,还有数据基础设施,支撑各类终端通过端边云实现万物互联,终端、物端、边缘、云都嵌入AI,提供与ChatGPT类似的大模型智能服务,最终实现有计算的地方就有AI智能。智能计算带来了巨量的数据、人工智能算法的突破和对算力的爆发性需求。

  智能计算包括人工智能技术与它的计算载体,大致历经了四个阶段,分别为通用计算装置、逻辑推理专家系统、深度学习计算系统、大模型计算系统。

  智能计算的起点是通用自动计算装置(1946年)。艾伦·图灵(Alan Turing)和冯·诺依曼(John von Neumann)等科学家,一开始都希望能够模拟人脑处理知识的过程,发明像人脑一样思考的机器,虽未能实现,但却解决了计算的自动化问题。通用自动计算装置的出现,也推动了1956年人工智能(AI)概念的诞生,此后所有人工智能技术的发展都是建立在新一代计算设备与更强的计算能力之上的。

  智能计算发展的第二阶段是逻辑推理专家系统(1990年)。E.A.费根鲍姆(Edward Albert Feigenbaum)等符号智能学派的科学家以逻辑和推理能力自动化为主要目标,提出了能够将知识符号进行逻辑推理的专家系统。人的先验知识以知识符号的形式进入计算机,使计算机能够在特定领域辅助人类进行一定的逻辑判断和决策,但专家系统严重依赖于手工生成的知识库或规则库。这类专家系统的典型代表是日本的五代机和我国863计划支持的306智能计算机主题,日本在逻辑专家系统中采取专用计算平台和Prolog这样的知识推理语言完成应用级推理任务;我国采取了与日本不同的技术路线,以通用计算平台为基础,将智能任务变工智能算法,将硬件和系统软件都接入通用计算平台,并催生了曙光、汉王、科大讯飞等一批骨干企业。

  符号计算系统的局限性在于其爆炸的计算时空复杂度,即符号计算系统只能解决线性增长问题,对于高维复杂空间问题是无法求解的,从而限制了能够处理问题的大小。同时因为符号计算系统是基于知识规则建立的,我们又无法对所有的常识用穷举法来进行枚举,它的应用范围就受到了很大的限制。随着第二次AI寒冬的到来,第一代智能计算机逐渐退出历史舞台。

  直到2014年左右,智能计算进阶到第三阶段——深度学习计算系统。以杰弗里·辛顿(Geoffrey Hinton)等为代表的连接智能学派,以学习能力自动化为目标,发明了深度学习等新AI算法。通过深度神经元网络的自动学习,大幅提升了模型统计归纳的能力,在模式识别等应用效果上取得了巨大突破,某些场景的识别精度甚至超越了人类。以人脸识别为例,整个神经网络的训练过程相当于一个网络参数调整的过程,将大量的经过标注的人脸图片数据输入神经网络,然后进行网络间参数调整,让神经网络输出的结果的概率无限逼近真实结果。神经网络输出真实情况的概率越大,参数就越大,从而将知识和规则编码到网络参数中,这样只要数据足够多,就可以对各种大量的常识进行学习,通用性得到极大的提升。连接智能的应用更加广泛,包括语音识别、人脸识别、自动驾驶等。在计算载体方面,中国科学院计算技术研究所2013年提出了国际首个深度学习处理器架构,国际知名的硬件厂商(NVIDIA)持续发布了多款性能领先的通用GPU芯片,都是深度学习计算系统的典型代表。

  智能计算发展的第四阶段是大模型计算系统(2020年)。在人工智能大模型技术的推动下,智能计算迈向新的高度。2020年,AI从“小模型+判别式”转向“大模型+生成式”,从传统的人脸识别、目标检测、文本分类,升级到如今的文本生成、3D数字人生成、图像生成、语音生成、视频生成。大语言模型在对话系统领域的一个典型应用是OpenAI公司的ChatGPT,它采用预训练基座大语言模型GPT-3,引入3000亿单词的训练语料,相当于互联网上所有英语文字的总和。其基本原理是:通过给它一个输入,让它预测下一个单词来训练模型,通过大量训练提升预测精确度,最终达到向它询问一个问题,大模型产生一个答案,与人即时对话。在基座大模型的基础上,再给它一些提示词进行有监督的指令微调,通过人类的指令,回复对逐渐让模型学会如何与人进行多轮对话;最后,通过人为设计和自动生成的奖励函数来进行强化学习迭代,逐步实现大模型与人类价值观的对齐。

  大模型的特点是以“大”取胜,其中有三层含义,(1)参数大,GPT-3就有1700亿个参数;(2)训练数据大,ChatGPT大约用了3000亿个单词,570GB训练数据;(3)算力需求大,GPT-3大约用了上万块V100 GPU进行训练。为满足大模型对智能算力爆炸式增加的需求,国内外都在大规模建设耗资巨大的新型智算中心,公司也推出了采用256个H100芯片,150TB海量GPU内存等构成的大模型智能计算系统。

  大模型的出现带来了三个变革。一是技术上的规模定律(Scaling Law),即很多AI模型的精度在参数规模超过某个阈值后模型能力快速提升,其原因在科学界还不是非常清。


星空体育官网
上一篇:LoRa在智能家居当中的物联网应用 下一篇:数码科技在智能家居、智慧医疗、教育和娱乐领域的