腾讯AI “绝悟”制胜王者荣耀：一天训练抵得上人类440年

昨日，腾讯AILab与王者荣耀共同探索的前沿研究项目-策略协作型AI“绝悟”在吉隆坡举办的王者荣耀最高规格电竞赛事——世界冠军杯半决赛的特设环节中，在职业选手赛区联队带来的5v5水平测试中获胜，升级至王者荣耀电竞职业水平。

而就在同一天，“绝悟”的1v1版本也在上海举办的国际数码互动娱乐展览会ChinaJoy首次对公众亮相，向顶级业余玩家开放为期四天的体验测试。其中在首日的504场测试中，“绝悟”的测试胜率为99.8%，仅有1场输给了王者荣耀国服第一后羿。

据悉，“绝悟”名字寓意绝佳领悟力，其技术研发始于2017年12月，并在2018年12月通过了由前职业选手与主播联队带来的顶尖业余水平测试。

“绝悟”在游戏测试中的对战实况

此次测试的“绝悟”版本建立了基于“观察-行动-奖励”的深度强化学习模型，无需人类数据，从白板学习（TabulaRasa）开始，让AI自己与自己对战，一天的训练强度抵得上人类440年。AI从0到1摸索成功经验，勤学苦练，既学会了如何站位、打野、辅助保护和躲避伤害等游戏常识。

而更令人惊喜的是，AI也探索出了不同于人类常规做法的全新策略。团队还创建OneModel模型提升训练效率，优化通信效率提升AI的团队协作能力，使用零和奖惩机制让AI能最大化团队利益，使其打法果断，有舍有得。

探索全新策略：开局时“绝悟”没选择传统人类对线走位策略，而是由双C位英雄虞姬和王昭君先一起清理中路第一波兵线，压制敌方中辅。之后又转上路压制曹操血线。

长线策略：对线期，赛区联队三人压迫下路，“绝悟”果断选择用三个AI反压赛区联队的上路，最终双方互换一塔，维持均势。

团队协作：比赛中期，“绝悟”四人追击娜可露露，AI达摩一脚将娜可露露反踢入AI群中，再由四个AI完美配合拿下自己的首杀。

即时策略：一对一时，赛区联队实力较强的曹操追击“绝悟”虞姬，虞姬在残血状态退至高地。看到曹操抗塔血量大减后，把握机会绝地反杀。

即时策略+团队协作：比赛后期在赛区联队的上路高地塔团战，AI王昭君先手被对方秒杀，“绝悟”果断选择反打，以漂亮的一波团战全歼对手。

即时策略+团队协作：在赛区联队全队覆灭后，“绝悟”的兵线尚未到达，下路高地塔还有过半血量，“绝悟”果断选择四人轮流抗塔，无兵线强拆塔。注：赛事尾声，赛区联队团灭后，“绝悟”未直接推水晶，而是计算整体收益后，选择先推最后一个高地塔，再推水晶直至胜利。

“绝悟”面临的技术难点

游戏中测试的难点，是AI要在不完全信息、高度复杂度的情况作出复杂快速的决策。在庞大且信息不完备的地图上，10位参与者要在策略规划、英雄选择、技能应用、路径探索及团队协作上面临大量、不间断、即时的选择，这带来了极为复杂的局面，预计有高达10的20000次方种操作可能性，而整个宇宙原子总数也只是10的80次方。

若AI能在如此复杂的环境中，学会人一样实时感知、分析、理解、推理、决策到行动，就可能在多变、复杂的真实环境中发挥更大作用。因此业界认为下一个AI里程碑，可能会在复杂策略游戏中诞生。世界顶级科技公司均在推进此类研究，如GoogleDeepmind（星际争霸2）、Facebook（星际争霸2）及OpenAI（Dota2）等。

关于“绝悟”更多技术细节解读，腾讯AILab表示将通过论文等形式进一步分享，并通过开放研究，帮助和启发更多研究者。

腾讯AILab在智能体研究中取得的进展

腾讯AILab一直是此类智能体研究的先行者。2016年起，研发的围棋AI“绝艺”（FineArt），现担任中国国家围棋队训练专用AI；2017年，启动“绝悟”研发；2018年，“绝悟”达到业余顶尖水平，腾讯还在射击类顶级AI竞赛VizDoom夺冠，并在《星际争霸2》首先研发出击败内置AI的智能体。

而这两次技术水平测试结果代表腾讯在深度强化学习、多智能体决策智能课题上的国际级AI研究水准，也标志着公司在攻坚通用人工智能（ArtificialGeneralIntelligence）难题上更进一步。

对在这两次技术水平测试中所取得的成果，腾讯副总裁姚星介绍，“电子竞技”将成为策略协作型AI“绝悟”未来短期内的主要应用场景。作为数字时代最受年轻人欢迎的运动，电竞已于2018年成为亚运会表演项目，中国队参赛获两金一银的佳绩。与传统体育项目一样，电竞职业选手也需要手眼脑协调、策略和操作快速反应、团队协作精神及大量刻苦训练。借助在算法和数据方面的优势，AI可为职业选手提供数据、战略与协作类实时分析与建议，及不同强度与级别的专业陪练。以前沿科技推动电竞专业化发展，AI将继续推动中国电竞在全球范围内保持领先。

而长期应用上，“绝悟”将是腾讯攻克AI终极研究难题——通用人工智能的关键一步。AGI代表研发能在通用系统中执行多种复杂命令，达到或超越人类水平的AI，从“绝艺”到“绝悟”，不断让AI从0到1去学习进化，并发展出一套合理的行为模式，这中间的经验、方法与结论，长期来看，有望在大范围内，如医疗、制造、无人驾驶、农业到智慧城市管理等领域带来更深远影响。