【本站讯】近日,计算机科学与技术学院张卫山教授带领的科研团队在可信人工智能联邦学习领域取得重要研究进展。
2022年12月19日,中共中央、国务院出台《关于构建数据基础制度更好发挥数据要素作用的意见》(简称“数据二十条”),对数据基础制度建设提出明确要求。其中第四条指出,要实施公共数据确权授权机制,推进对各种公共数据的汇聚共享、互联互通,打破“数据孤岛”。张卫山团队针对数据可信共享困难、产业协作缺失、深度知识发现不足、决策泛化能力低等数字经济及人工智能存在的关键技术难题,联合北京航天制造有限公司、海尔空调电子有限公司、文达通科技股份有限公司等单位,进行了长期的产学研用联合研发,创建了产业可信协作的联盟智能动态决策等关键技术。
借鉴取得突出效果的AlphaGo/AlphaZero,针对联盟智能决策过程中的知识挖掘,团队首次提出了将强化学习用于联邦学习的模型聚合,实现了对联邦学习在设备异构性以及数据非独立同分布环境下性能、准确率、系统稳定性的全面提升。该成果发表于SCI一区TOP期刊IEEE Transactions on Industrial Informatics。
异步联邦强化学习方案图
联邦网络中客户端节点之间数据的分布相差极大,CPU、内存、显卡设备等硬件条件不同,在联邦学习过程中由于节点之间没有原始数据相互交换,服务器节点无法知晓客户端节点的信息,在模型融合时只能被动接受融合,无法判断客户端节点上传模型的质量,同等对待导致模型融合效果差,无法达到全局最优。通过使用强化学习改进联邦学习的模型融合过程,能够使得联邦网络服务器节点自主地对模型进行评估,然后选择能够得到更好效果的融合方式,使得联邦学习能够在异构性环境下,更好地完成联邦全局模型的训练。同时,团队设计了一种用于节点筛选的动态联邦融合方法,可根据节点本地模型性能来决定参与的节点情况,并根据参与节点的训练时间动态调整模型融合策略。
相关研究已在新冠肺炎诊断、社区监控智能分析、工业设备故障预测、罕见疾病诊断等多个对于数据隐私要求较高的课题进行了应用,对于推进人工智能时代数据安全与隐私保护、提升深度学习模型的性能具有重要意义。
张卫山教授团队在产学研深度融合、成果转换方面有着丰富的积累。系列研究成果获评山东省科技进步二等奖、青岛市科技进步一等奖、中国自动化学会科技进步一等奖等多个奖项。团队获国家标准4项、团体标准4项,申请发明专利200余项,发表SCI、EI学术论文200余篇,其中热点论文/高被引论文10余篇。2023年1月,“联盟智能动态决策关键技术研发及产业化项目技术团队”获评西海岸新区科技成果转化十佳团队,经评价,团队研究成果达到国际领先水平,开辟了安全鲁棒的联盟智能新体系。
相关研究成果链接:
https://ieeexplore.ieee.org/abstract/document/9950718
https://ieeexplore.ieee.org/abstract/document/9347454