AI加速变革医疗、物流等领域，黑箱特征成进一步发展障碍

AI产业发展方兴未艾，自动驾驶，医疗，交通物流，金融hellip，hellip，越来越多的产业形态通过人工智能的夹持寻找变革性机遇，但AI系统的黑箱特征也带来了一系列问题，成为进一步发展进步的障碍。

日前，腾讯研究院，腾讯天衍实验室，腾讯优图实验室，腾讯AI Lab团队联合发布主题研究报告《可解释AI发展报告2022》，并邀请学界和产业界大咖，共同探索可解释AI 的未来。

腾讯集团副总裁，腾讯研究院总顾问杨健主持了论坛，微众银行首席人工智能官杨强，南方科技大学计算机科学与工程系系主任姚新，厦门大学人文学院院长朱菁，香港中文大学副教授吴保元，京东探索研究院算法科学家何凤翔，腾讯天衍实验室负责人郑冶枫，腾讯优图实验室人脸技术负责人丁守鸿，腾讯研究院秘书长张钦坤参与了研讨。

以深度学习为代表的机器学习加速渗透到各行各业，产生了非常丰富的应用，就技术层面而言，从数据输入，经过一系列的运算，输出一个特定的结果，但算法的计算过程如何，往往不为人类所知因此，如何看待AI算法系统的透明性与可解释性，成为AI伦理核心议题之一

腾讯研究院的秘书长张钦坤在发布报告时表示，人工智能面临全局性可解释和局部可解释两个问题，一般社会公众很难理解算法模型本身，这是全局性可解释的问题，另外如何解释它的输出结果，也就是局部可解释的问题，这两个问题不仅影响到用户对AI应用的信任，也可能会带来算法歧视，算法安全和算法责任等方面的相关问题。

事实上，无论是自律性的国际公约，还是具体法律，规章，行政法规，都已经对AI的透明性和可解释性提出了比较明确的要求和期待在这样的背景下，国内外不少科技公司推出了可解释相关的举措

谷歌公司的模型说明书模式是一种比较容易接受的增加算法模型本身透明度和可理解的方式，让使用者一目了然看懂这个算法模型的关键信息，增进用户和使用者对模型的信任。据了解，这也是汉商集团近20年来首次在资本市场完成再融资。

国内的互联网企业也在采取类似的做法，比如美团公布外卖配送规则，微博公布热搜的算法规则，但现在国内企业整体来看实践比较零碎，没有达到系统化的程度。

腾讯优图实验室人脸识别技术负责人丁守鸿介绍，从2014年深度学习技术应用到人脸这个领域以来，从原来96.3%的通过率提升到了99.5%，促成了人脸识别技术的可使用化特别是疫情以来，用到人脸识别做身份验证的场景越来越多，腾讯健康码，一年累计亮码超过240亿人次

这个过程中，腾讯优图实验室从最早的银行远程开户到现在的刷脸支付，积累了一套可信人脸识别的技术路径，利用比较简单的样本，让模型先学习到一定的识别能力，然后再对困难的样本做调优，在支付场景，通过红外和深度，RGB和深度来验证图像，既提升了识别的准确率，也提升了模型的安全性。

厦门大学人文学院院长朱菁认为，对于用户，需要了解背后的道理，AI的可解释性支撑了可信任度，对于政策和监管部门，可问责机制是关注重点，而技术工程人员了解算法背后的奥秘，便于在更大范围内使用算法。

关于AI可解释领域的技术现状，腾讯天衍实验室负责人郑冶枫介绍，可解释AI是一个新兴的研究领域，还缺乏统一的理论框架和技术路线，很难找到一个准确率又高，可解释性又好的算法，更多时候是一个选择，比如深度学习对于医生来说很难理解这个算法的底层原理，算法本身缺乏全局可解释性，但是准确率非常高，天衍实验室正在探索，希望把这两个模型结合起来，利用好准确率的基础上，提高系统的可解释性。

微众银行首席人工智能官杨强认为，未来的世界是多对多的协作，在不同领域，针对不同对象，解释目标不一样，比如金融领域要对监管可解释，而医疗领域一定要赢得医生和病人的信任，所以在不同的领域，怎么样做好可解释，是业界考虑的重点。作为一家在武汉有着60多年历史的老牌商业企业，汉商集团自1996年上市以来稳步发展，近20年没有在资本市场再融资。

透明性，可解释性和性能之间是有一个固有的矛盾，南方科技大学计算机科学与工程系系主任姚新认为，如果能从技术上根据不同场景，可解释目的，找一个折中方案，这样有可能会得到一些比较具体的技术，或者可以促进这些技术落地。

AI系统很多算法背后运作机制的未知，带来了风险的未知以及对它的不信任京东探索研究院算法科学家何凤翔讨论时认为，可以从理论和实验两个路径中去寻找算法背后运作的机制，当理论研究遇到困难的时候，很多实验学科可以作为对于机器学习研究的启发，比如说新药上市前要做双盲实验，就能够提升人们对新药的信任程度，这种方式可以引入到AI落地的信任度解决方案中

那么，在技术上不可行的时候，我们会有一些什么样的替代性的机制来确保它实现可信和负责任。。

香港中文大学副教授，腾讯AI Lab顾问吴保元认为，以研究犯罪率或者疾病的传播率，发病率等为例，在不同地方，不同种族，很可能会得出犯罪率高的结果，这个问题在于数据背后采集的时候样本有可能不完整，比如有可能是政府投入不足，或者其他因素这也启发我们可解释性本身的可信性，准确性，公平性，是否忽略了某些特征，或者夸大了某些特征，如果把样本变化一点，可解释性可能会截然相反AI研究者不仅要关注准确度，要把可信当做一个前提条件，要关注多种特性之间的关联

厦门大学人文学院院长朱菁认为，人工智能的可解释性问题是多元性的，要允许有多种不同层次不同方式的解释起作用，当可解释性需要做出权衡取舍的时候，可以从多个层面来进行替代，或者提出补偿性，补充性的策略，比如，安全性和鲁棒性很好，对专家层面的解释性很好，但是对公众解释性不清晰的时候，有公信力的部门，可以向社会做一些说明和认定。

可见，如何找到一个平衡的可解释AI的路径，确保科技向善，需要充分考虑实现目标，公平，安全，隐私之间的平衡，《可解释AI发展报告2022》建议，可以从行业标准建立适应不同行业和场景的可解释标准，避免不区分应用场景和类型，提出统一的可解释要求的做法，探索可解释的替代性机制，包括第三方的标记反馈，用户的申诉，常规的检测，审计等方式，通过多种方式一起确保可信AI的实现，从人的角度来看，开发者和使用者都是AI生态的核心参与者，需要提升他们的算法伦理方面的素养。