在2024学年的暑期,我于6月下旬前往美国,在约翰斯·霍普金斯大学以本科访问学生的身份,在怀廷工程学院计算机系一名信息安全领域副教授的实验室,开展了一段为期约2个月的暑期科研实习。
我在实验室一名博士师姐的带领下,开展了一项人工智能安全领域(AI Security)的研究项目。该项目聚焦于检验类差分隐私(Differential Privacy)的隐私方法对垂直联邦学习(Vertical Federated Learning)客户端数据空间异质性(Heterogeneity)的影响,以及数据空间异质性对于模型训练效果的影响。并尝试将课题组曾成功应用于水平联邦学习领域(Horizontal Federated Learning)相似问题的思路进行迁移,针对垂直联邦学习的特点进行调整和优化,以尝试提高模型表现。若实验思路经过调整和迁移后具有符合预期的效果,我们计划针对使用差分隐私方法的垂直联邦学习模型构建一个公开的代码框架,并根据该代码框架进行实验验证,撰写一篇研究论文。
人工智能安全(AI Security)是一个正在发展的新兴研究领域。伴随着大模型和人工智能应用场景的迅猛发展,如何在模型训练、部署的过程中为机构或个人提供可靠的隐私保障也成为日益受到关注和讨论的问题。联邦学习为独立的数据持有者在不共享数据的前提下进行合作,训练普惠的模型提供了一种可能的路径。在这种尝试之中,对传输的数据引入噪声的差分隐私方法被普遍应用。但长久以来,训练效果和隐私始终是天平的两端,更强的隐私保障也伴随着更显著的模型性能下降。我们的工作希望以隐私方法造成的数据异质性为着眼点和优化的突破点,既给数据持有者一个可信赖的、可以用数学方法定量化估量的隐私保障,同时将模型的训练效果提高到接近未应用差分隐私方法的水平,从而让结合了特定隐私方法的联邦学习模型,相比于传统的单一数据持有者的训练模式,真正变得更可用、更好用。
在科研进行的过程中,我们也遇到了诸如该细分领域前人研究数量较少,缺乏问题域的明确讨论和界定,缺乏合理的、被广泛采用的训练数据集划分方法等问题,也反应出这一领域的很多细分主题仍有待探索和讨论的现状。同时,这一领域先前数量有限的研究者采用的代码框架缺少可循依的规范,编写质量和健壮性良莠不齐。我们也对选定的适用的代码框架进行了系统的优化,在此基础上进行进一步修改以开展我们的研究。目前这一科研项目的实验和后续研究仍在进行中。
除科研实习以外,两个月的当地生活也带给我了许多的触动与感悟。居住在城市的公寓中,安顿好自己的生活起居、衣食住行中无数琐碎的方面,让我得以真正深入到当地人的生活文化当中;与朋友在附近城市的游历、和当地居民的交流,也让我获得了对美国独特的政治文化、各异的城市风格生动鲜活的体验。这些对于我来说都是格外宝贵的经历,帮助我更好地反观、思考和建构自己的生活,发展更健全的人格。
最后,十分感谢为我提供暑研实习机会的实验室,以及学院的境外学术交流支持计划!感谢学院和学校的老师们在其中的辛勤付出!很幸运能有这次宝贵的经历。我将继续在学业学术和个人成长方面努力和投入,不断提升自我。