笔趣阁

繁体版 简体版
笔趣阁 > 1976步步生莲 > 第1997章 硬件条件受限的情况下,“蒸馏”的重要性

第1997章 硬件条件受限的情况下,“蒸馏”的重要性

提示:本站可能随时被屏蔽。笔趣阁官网新网址:www.biqugg.org

为了生存被动的工作,为了更好的生活主动去工作,哪种效率高?

无疑是后者。发布页Ltxsdz…℃〇M

既能够满足经济需要,又能获得名誉,基于兴趣富有激的去工作呢?

也许兴趣和激有一天会消退,但在消退之前,效率无疑是最高的。会让不自觉的,忘我的,不知疲惫的,灵感迸发的投其中……

此刻位于温莎的B实验室,所有科研员不论白发苍苍已经功成名就的,还是笨拙稚处于学习和积累阶段的,每一个都拿出了平生最大的热,投到了“大计划”当中。

牛、剑与B实验室之间的计算机网络架设完成后,一直有个国际象棋体验项目。

之所以选国际象棋,是因为这是如今工智能领域竞争最激烈的赛道。从74年开始,专门开设了世界计算机象棋锦标赛。

工智能与类棋手的对弈,也一直是非常热门的话题。

主要是能够让不同知识背景的,直观的判断出所谓“工智能”的智能程度……

世界范围内参与这条赛道的IT公司与实验室非常多,小来小去的不提,比较知名的就有一堆。

老美的Cray Research公司,依靠Cray-1 超级计算机一直处于顶尖水平。

毛子的莫斯科控制科学研究所,第一届世界计算机象棋锦标赛就是他们承办的,并取得了冠军。

还有老美的David Kittinger公司、老美的西北大学,以及77年启动原型机开发, 78年获得北美计算机象棋锦标赛并夺冠,80年获得世界计算机象棋锦标赛冠军的贝尔实验室。

这里面有两个背景要科普一下。

第一个背景。

别看前面那些参与工智能项目的公司、高校和实验室好像挺厉害似的,但即便是眼下能最强的,贝尔实验室的“Belle”专用计算机,国际象棋Elo评级也只有2200到2300。

其次是Cray Research对Cray-1 超级计算进行专业优化后的Cray Blitz,有2100到2200。

第三David Kittinger的MyChess,能够达到2000至2100。

而时下的国际象棋顶尖大师们,Elo评分都在2700+。准顶级大师在 2650到2695之间。地址发布邮箱 LīxSBǎ@GMAIL.cOM特级大师的最低标准是 2500分。“大师”的门标准是2400。

也就是说,时下竞争火热的“工智能们”,即便是排名第一的“Belle”,距离大师的门水准,也还有一段距离呢。

第二个背景。

对计算机而言,棋力表现的基础有两个,算力和数据库。

前者决定了单局落子时限内的搜索度,说白了就是每次落子前能算出后面多少步棋路发展。

时下工智能的算力,硬件基础加上软件优化,普遍在 8至9层左右。

贝尔实验室的“Belle”,依靠PDP-11/23 加LSI-11处理器,再加上多块专用定制电路板。采用混合架构和硬件加速技术,能达到10层+。

具象一点,每秒钟能够比对约16到18 万个局面,是所有竞争对手中最快的。

这并不是一个稳定结果,具体表现要结合棋面的复杂程度。而且,国际象棋标准赛中,每局就时间分配而言分三个区段。每个区段留给和计算机思考的时间都不一样。

类顶尖大师,能够稳定达到12到13层。状态特别好时,甚至能达到14层。

这也是个波动值。毕竟类身体的客观条件决定了,时时刻刻都要面临多维度的扰和影响……冷了热了、饥了饱了、有尿了憋屎了,后背有点刺挠,苦茶子有点勒沟子……

朋友劈腿了,五岁的儿早恋,十五岁的儿子又尿床,观众席有咳嗽……哪来的臭蛋味儿……诶?内妞儿真漂亮……

至于数据库,贝尔实验室的“Belle”内置了二十八万套局面的开局库,是眼下赛道内所有计算机中最高的。

艾兹格一帮早就想好了,“悟空”想要真正取得业内认可,最佳的捷径就是参加世界计算机象棋锦标赛,以及战胜知名类棋手。

但那这三个月之前的想法,和制定的初步计划。所有都认为,需要很长的时间做准备。

因为,“悟空”和现有的所有“工智能”都完全不同的。

聚焦于国际象棋这一点,现有的“工智能”知识获取,完全依赖类专家编码的规则和棋理。依托专用的“棋类计算器”执行,算法与硬件度绑定国际象棋问题。

这种“工智能”,无法应对类未编码的复杂局面,需要专家持续更新规则库。

而“悟空”依托的算力单元,硬件层面没有针对国际象棋做任何专项优化,也没有做优化的计划。

软件层面,将国际象棋的基本规则“教”给它,然后通过两种方式进行强化。

其一是,将历史比赛数据转化为知识,投喂给它。让它基于“规则”和“知识”,通过 MCTS算法和神经网络组合自我训练。

其二是不断给他找对手,它的度卷积网络会在对局中基于胜率,自动捕捉高阶模式。

听着很美好,但也导致参数空间扩张和外部数据资产的不断积累。

简单的说,数据量越来越大。

而计算机的算力、总线、内存、外部存储器和磁盘阵列控制器的吞吐、读写速度都是有限的。数据量越来越大,就意味着调用、比对、决策的时间越来越慢。

而国际象棋的时间规则又那么严苛,这几乎是无解的矛盾……

谁也没想到,这个问题在曲卓上次来时,所有都没留意的况下,就被初步解决了。

虽然他只待了大半天,其中很大一部分时间还用在了开会和闲聊上。

闲聊过程中,得知参数量越来越大,不但占用了大量宝贵的硬盘空间,甚至为了保证读取速度,不得不将数据分配到不同磁盘阵列里。

确定了问题后,曲卓只用了两个小时左右,就编辑了一个知识库蒸馏程序。随后用蒸馏程序对现有数据进行清洗、去重,还修改了标注规则。

“蒸馏”的过程非常慢,分布在四个磁盘阵列下,已经累积到接近3G的专项知识库,用了二十多个小时才完成。

等蒸馏结束后,实验室的惊讶的发现,新的智能体数据包,居然只有两百三十多兆,参数量从亿级骤降到了百万级。

没有知道如此夸张的脱水比,在提升知识密度的同时,会损失多少有效知识。但毫无疑问,运算速度重新回到了丝滑流畅的水平。

呃~~

只能说,不同的时代,对“丝滑流畅”这一评价的阈值,是不同的。

然后,就是不断的惊喜。

大概从去年年底诺贝尔颁奖前后开始,参数进行过度优化的“悟空”,进了连胜状态。

消息传开后,之前那些体验后便失去了兴致的国际象棋高手们,有起了再次体验的兴趣。

今年一月中,“悟空”在所有都毫无准备的况下,突兀的赢了一位继去年夏天后

『加入书签,方便阅读』
热门推荐
四合院:靠虐渣我过上了幸福生活 邪王宠妻,医妃太狂傲! 奥特曼:我真的没有偷偷在努力 亮剑:团长你给我留点 紫火 极品戒指 密码杀机 西游百妖帐