Federated Generative Model on Multi-Source Heterogeneous Data in IoT | Proceedings of the AAAI Conference on Artificial Intelligence，2023年

摘要

现有的大多数工作都是集中实现生成式模型，引起安全性、隐私的问题并带来超额通信开销。少数工作考虑了当训练数据来自各异构设备时的分布式生成模型。本文中，为了解决这一问题，设计了一种联邦生成模型框架，可以在层级的IoT系统中学习到一个强大的生成器，可以在两种场多源异构数据场景中使用：特征相关的场景（特征形状类似）和标签相关的场景。此外，本文设计了一种同步和异步更新的方法来满足不同的应用需求。实验在一个模拟数据集和多个现实数据集上执行。

简介

生成模型带来的突破已迅速对多个领域产生了革命性影响，并在物联网（IoT）中的各类实际应用中广泛应用。在物联网环境中，各种设备相互连接，用于生成、收集、共享和处理异构数据，以推动数据驱动型应用的发展。

然而，目前大部分研究工作实现的是集中式生成模型，这些模型先将物联网设备的数据收集到中央服务器，再进行训练以达到生成目标。这种集中式生成模型可能容易受到单点故障和隐私泄露问题的影响。此外，用户因隐私顾虑而不愿意与中央服务器共享数据，从而增加了数据收集的难度，阻碍了物联网应用的进一步发展。另一方面，将如此庞大的数据传输到中央服务器也会给物联网带来高昂的通信成本。为了解决隐私和通信成本问题，设计分布式生成模型将是更优的解决方案。且：在多个物联网设备上数据集是非独立同分布（non-i.i.d.）的情况下，分布式生成模型可以学习混合分布，生成更加多样化的数据。

目前，只有少数研究了分布式生成模型，但在实际物联网场景中忽视了以下关键问题：1.大多数现有工作采用联邦学习模式，需要上传大量模型参数，给有限的网络资源带来负担；2.所有现有研究主要关注独立同分布的数据进行模型训练，而未涉及非独立同分布数据情境；3.没有研究考虑不同物联网设备之间的数据域异质性。

本文设计了一个新颖的分布式生成模型框架，考虑了物联网设备的基本特性，包括广泛的地理分布、较低的计算能力、非独立同分布数据及异构数据域。基于不同应用场景下物联网设备中的数据分布及相关性，本文研究了分布式数据生成问题的两种情境：(i) 特征相关情境，即不同群体的数据具有相同的特征但标签不同；(ii) 标签相关情境，即不同群体的数据具有相同的标签但特征不同。

本文的主要贡献如下：

1.基于物联网应用的特性，我们设计了一个三层分层框架来部署联邦生成模型，这是首个考虑多源异构数据的分布式数据生成框架。

2.针对物联网应用中的数据情境，我们在所提出的分层框架下，提出了两种生成模型用于多源数据生成。

3.我们设计了同步和异步更新策略，以便根据不同的应用需求在边缘设备上训练生成器。

4.我们在来自多个数据域的不同数据集上进行了大量实验，对比现有方法，展示了所提数据生成模型的性能。

系统框架

本文的联邦生成模型框架为一个三层架构，底层是IoT设备，中间是边缘服务器，顶层是一个云服务器。特别地，每个边缘服务器都位于覆盖本地区域的基站下，与覆盖的物联网设备构成一个local community。系统图：

为了数据生成，每个IoT设备上部署一个discriminator，每个边缘服务器上部署一个community generator，在云服务器上部署一个global generator。定义K是区域数量，是第k个区域内的判别器集合，是第k个区域的第j个IoT的判别器。

训练过程分两阶段：1.本地区域训练，在边缘服务器更新; 2.在云服务器的G上全局聚合。在本地训练中，IoT设备和边缘服务器上的G训练捕获异构数据分布；在全局聚合中，本地训练结果发送到云端获得全局数据分布。全局聚合迭代次，其中每一次里局部训练迭代次。由于近距离的位置分布，一个本地区域的数据通常由相同的特征或标签。

特征相关数据生成

这一场景中，来自不同区域的数据特征相同而标签不同。如上图所示，三个区域的特征都是0~1像素值的灰度图，但标签分别是digit和cloth。类似的场景还有：不同医院涵盖不同疾病类别；不同位置的传感器可以感知不同空气质量指数，等等。

生成器

首先是，本地生成器会根据从高斯分布里采样的两个向量生成两批数据：用来更新，用来计算以反向传播。类似于softmax，全局聚合通过下式进行：其中可以通过同步或异步更新的方式计算，在下述介绍。

判别器

在本地区域每次迭代训练中，判别器进行两步操作：更新和损失函数计算。在第一步，判别器通过IoT设备真实的本地数据x（服从分布）和上述产生的假数据进行训练，即优化：在判别器更新后，在用上述的另一个假数据区计算损失函数：。之后，损失值送回，以计算梯度并更新之。

更新策略

考虑到IoT设备的多样性和不同应用的需求，更新时同步或异步方法在训练过程中被采用。

同步更新

这种方式下，在从所有本地判别器收集完损失函数后再更新。不同于传统的集中平均聚合的方法，本文的同步集成可以用于本地分布非iid的情况。集成的损失由下式计算：

式中，值越大，则认为生成的数据越真实，因此就分配一个更大的权重去聚合。这种指数加权的聚合方式在一个2019年的工作中被验证过是有效的。在获得该集成损失后，就可以梯度下降的方式更新。

异步更新

由于IoT设备可能有不同容量、计算效率和传输能力，同步方式可能会增加时间耗时。在异步方式中，只要接收到一个本地判别器传来的损失就更新，而不用等到所有判别器都算完。对于，过时度（staleness）越小的损失对准确更新的作用越大。考虑此，定义的staleness为，前一个T是接收到损失函数值的时间，后一个是最近更新的时间。异步更新损失函数值如下式所示：

其中是损失函数值同时到达的设备数。式中，过时度越小就会被分配更大的权重来更新。

标签相关数据生成

这种场景下，不同区域数据集特征不一样但标签一样。例如，车联网中，一个区域负责车辆拍照，一个区域负责传输雷达数据，但它们有同样的标签。以下图为例：三个区域都是数字标签，但是数据特征在背景颜色、亮度上都不一样。全局生成器旨在根据同一标签生成不同域的数据，因此需要在云服务器加一个分类器C来区分生成数据的原始来源。

生成器

在这种情况下，全局生成器希望在不同域条件下生成多域数据分布，每个区域的条件定义为，表明了生成的数据的来源。因此GAN就使用到了cGAN；具体来说，就是用隐藏变量z和域条件来生成。同样的，生成器生成两批数据，和分别更新判别器和计算损失。

判别器

同样包括更新和损失计算两个操作，与上述基本一致，只是公式的G里做了个条件。

本文只提供具体模型下的分布式训练思路，未涉及通信。

论文阅读-IoT中基于多源异构设备的联邦生成式模型

摘要

简介

相关工作：关于多源GANs