联邦学习中的挑战与解决方案

Posted by kalos Aner on December 16, 2024
维度 特点 难题 解决方案
数据 1、数据分布异构:客户端本地数据之间不服从同一分布
2、数据质量差:客户端数据缺少标注
本地训练过拟合,出现本地偏差问题,影响全局模型性能
客户端训练缺乏有效监督
1、通过数据共享改善分布差异
2、改善本地更新目标(增加正则化项)
3、改善服务器参数聚合(归一化)
1、无监督/半监督学习
通信 通信带宽受限而且网络连接不稳定 通信效率低下,增加训练总时长 1、减少通信轮数
2、通过量化等压缩单轮传输的数据量
资源 资源异构:不同客户端的计算和存储资源异构 不同客户端难以在同一时间开销内完成本地训练或无法支持同一模型训练 1、异步更新
2、支持异构模型训练
3、改善客户端选择策略
安全 训练过程中需要上传模型的中间变量,模型参数或梯度信息 通过模型反演攻击获取用户本地数据信息,造成用户隐私泄漏 1、参数安全聚合
2、差分隐私
3、同态加密