论文阅读-三篇联邦学习背景下的边缘计算
本文主要介绍三篇以联邦学习为背景的边缘计算文章。这些文章的重点主要在于看它们如何进行建模。
第一篇：
摘要
本文以无人机（UAV）辅助边缘计算为例。文章说，现有大多数工作集中考虑在最小化传输、处理时延和能量损耗，但没有考虑隐私保护。所以本文就考虑了一个FL框架下的无人机辅助边缘智能系统，来最小化所选user equipment的最大效用成本（这个成本表示了时延和能量损耗之间的关系）。
系统建模
直接看系统建模：
这是一个基于FL的边缘计算系统，包括两层：UE层和MEC层。其中，UE层包含M个UEs，而MEC层包括一个UAV作为MEC服务器。所有的UE都与UAV用D2D链路连接。
首先每个UE都会根据本地数据集Dm训练本地模型，然后把训练完后的参数传给UAV；然后UAV聚合所有更新后的参数，更新全局模型。当全局模型训练完后，更新后的参数再广播给所有的UEs，开启下一轮的联邦学习。
本文主要考虑的是时延以及能量消耗，即T和E。和大多数论文一样，它们与处理数据需要的CPU
cycles数（记作C）、数据处理能力（即每秒的CPU循环数，记作f）有关。则可以定义本地处理的计算时延和能量消耗为：
然后就要考虑传输时的时延和能量损耗了；每个UE都是选一个上传链路上传的。这时，我们需要定义第m个UE的发射功率pm（单位mW）、每个UE到UAV的最大传输速率r（由香农公式定义：
最后，UAV聚合所有本地模型，进行计算，这一步骤的时延和能量损耗的公式形式与本地计算的一致。然后就是下行传输时的定义，其与上行传输时的定义也形式一致。
把这些步骤里所有的T、E（的max）相加起来，就得到最终的T和E。根据T和E，就可以定义出Cost=λE+(1-λ)T。
问题建模
本文的目标是最小化最大系统效用成本。
总结：在无线传输、联邦学习的场景下，可以考虑传输时延、传输能耗、本地/全局的处理时间、处理计算能耗。而这些又要考虑到：计算任务所需的CPU cycles、不同设备的计算能力f、传输的数据大小等等。
第二篇
这篇文章是2019年的，是描述了计算卸载，但是用联邦学习方法分布式学习。Federated Learning-Based Computation Offloading Optimization in Edge Computing-Supported Internet of Things | IEEE Journals & Magazine | IEEE Xplore。
摘要
本工作使用部署在多个边缘节点上的多个DRL agent来做出决策，旨在降低传输成本并采用FL以分布式方式训练DRL agent。
系统建模
在这个系统模型中，IoT设备可以从边缘节点收集energy units并存到energy queue中。基于这个系统模型，边缘节点EN可以为IoT设备提供通信和计算卸载。即每个设备可以选择一个边缘节点，建立通信连接，分配带宽W Hz并卸载计算任务。
总之，物联网设备有以下功能：1.来自边缘节点的能量单元可以被收集、存储在最大长度为l的能量队列中用于无线传输和计算；2.设备内部存在一个本地任务队列，维护未处理和未成功处理的任务；3.设备可以和边缘节点建立连接，上传更新、计算卸载和下载模型参数。
对于计算任务，每个epoch起始要做出决定：1.本地算还是边缘算；2.分配能量队列中的多少能量单元。如果本地算，就考虑任务比特数，cpu频率，这也是我们多次之前说过的；如果要与边缘节点关联，那么就根据信道增益、发射功率等参数定义最大data rate，进而定义传输时间。
这里的state、action、reward和论文阅读:QECO-移动边缘计算(MCE)中基于DRL的面向QoE的计算卸载算法 | 雨白的博客小屋比较像。
为什么联邦学习
这篇文章的联邦学习似乎是训练方式而非背景。首先，每个IoT设备上使用DDQN来学习，但是这样需要大量的计算资源。所以我们需要考虑DRL AGENT如何部署：如果我们智能体放到EN上训练，则：1.上传的数据涉及隐私；2.即使有隐私保护，但EN接收到的proxy data相关性低，对特定物联网设备针对性弱；3.大量训练数据一直传输到EN，增加无线信道负担。而如果在IoT上单独训练DRL智能体，则：1.会造成额外能量浪费；2.从头开始训练每个DRL智能体很久甚至不可能。
算法流程是：1.关于EN中的全局DRL智能体，初始化权重θ0；关于每个IoT设备，初始化经验回放和本地模型。然后，从EN处下载θ0。2.在每一个round中，随机挑选m个可用设备，然后对于每个设备并行处理：从EN获得θ，然后采取动作更新经验回放池；本地DRL智能体根据经验回放池和权重训练，然后上传训练后的参数给EN并告知训练时间；3.对于EN，接收到所有模型的更新后，进行聚合，根据各设备时间占比进行参数的加权平均。
第三篇
论文地址：Task offloading mechanism based on federated reinforcement learning in mobile edge computing - ScienceDirect，SCI一区，IF7.5
摘要
MEC技术有着高带宽，低时延和低能量消耗的特点；本文研究目的主要聚焦于计算卸载技术以提高QoS，其中QoS的考虑包括了计算成本、维度灾难、用户隐私、新用户的灾难性遗忘。本文的QoS模型基于时延和能量消耗建立，并且提出个基于DDQN和MEC中的自适应任务卸载联邦学习算法。在成本上：该算法结合QoS模型和DRL，根据信道相干时间内的局部链路和节点状态信息获得最优卸载策略，减少时延和能耗。在隐私保护和灾难性遗忘问题上：本文使用FL对多个用户的数据进行分布式利用，保护数据隐私。在实际的迭代中，单个设备的通信延迟太大进而影响了整体延迟成本；因此采用了一种基于unary outlier detection机制的通信延迟优化算法来减少通信时延。
为什么FL?本地设备数据可能有限，多个设备的决策模型可以采用FL优化且可以减少个性化特征（就像过拟合的感觉）；FL可以获得更泛化的全局模型，新用户接入也能直接下载下来用。
系统模型
本研究考虑一个层级框架：有N个设备，一个接入点和MEC服务器,映射到途中的两个layer。移动设备上的每个任务可以根据当前环境本地执行，或者传输到MEC服务器处理来降低能耗。本文模型忽略任务之间的相关性。
假设移动设备上有N个任务，每个任务定义为Taskn={d,c,t}表示任务大小、需要的CPU循环数和最大容忍时延。每个设备都单独的卸载策略，1表示扔给MEC，0表示本地算。
关于计算上时间与能耗的定义，与之前探讨的基本一致。T=c/f，E=σcf^2。而在传输消耗上，则由香农公式，与发射功率p、信道增益h、信噪比I、传输带宽B定义出上传速率r=Blog(1+hp/I)。能量消耗则=发射功率p乘以传输时间d/r。需要指出，本文的模型似乎并未考虑边缘服务器的计算成本和能量消耗，因为看作远大于本地的。要最小化的成本Q即：
