雨白的博客小屋

​ 地址：[2004.12088] SplitFed: When Federated Learning Meets Split Learning 摘要 ​ 联邦学习和分裂学习（FL和SL）是两种受欢迎的分布式机器学习方法。这两种都遵循一种model-to-data的场景；客户端无需要到raw data就可以训练、测试模型。SL还比FL提供了更好的模型隐私，因为模型会在服务器和客户端之间分隔开（就比如Conv1（S）->Conv2(C1)->Conv3(C2)...）。但是，比起FL，SL这种训练方式肯定更慢，因此本文提出一种新的方法叫splitfed（SFL），增强数据隐私和模型鲁棒性，在测试精度、通信效率上都表现良好。 简介 ​ FL在分布式客户端上分别根据本地数据训练一个完整的模型，但是一些资源受限的客户端可能没法跑整个模型，且从模型隐私角度讲有隐患。为此，SL被提出：将完整的模型分成更小的一些网络部分并在服务器、客户端群上训练。这样，客户端减少了计算负载，且服务端、客户端无法互相访问模型。不过尽管如此，SL也有个问题：其中继式的训练使得同时只有一个客户 ...

​ IEEE WC,JCR-Q1,IF10.9,2023年。论文标题：Distributed Learning Meets 6G: A Communication and Computing Perspective 摘要 ​ 随着移动设备的计算能力、存储容量不断增长，在6G蜂窝网络下有许多研究面向分布式训练（DL）。结合边缘计算，联邦学习FL可以成为无线网络中的DL架构。本文呢主要介绍了通常的分布式学习和基于FL的策略是如何用于6G中，并且取得通信与计算上的平衡。作为一个实践案例，本文将FL框架下的MARL用在了dynamic spectrum access（DSA）问题上。 6G下的分布式训练 ​ 以蜂窝网络为例：由于蜂窝无线网络具有分布广泛且偶尔稀疏的特性，并且包含可能存在异构性的终端设备，因此分布式学习（DL）的范式在 "将机器学习方法应用于无线网络问题" 中变得至关重要。主要原因在于： ​ 1.随着移动设备、IoT设备计算能力和存储空间越来越强，可以生成指数级多的用户本地数据和环境感知数据；2.由于把大量数据从终端经过限宽的信道传到服务器节点有所限制，且加 ...

本文主要介绍三篇以联邦学习为背景的边缘计算文章。这些文章的重点主要在于看它们如何进行建模。 第一篇： Federated Learning Empowered Resource Allocation in UAV-Assisted Edge Intelligent Systems | IEEE Conference Publication | IEEE Xplore，2023年。 摘要 ​ 本文以无人机（UAV）辅助边缘计算为例。文章说，现有大多数工作集中考虑在最小化传输、处理时延和能量损耗，但没有考虑隐私保护。所以本文就考虑了一个FL框架下的无人机辅助边缘智能系统，来最小化所选user equipment的最大效用成本（这个成本表示了时延和能量损耗之间的关系）。 系统建模 ​ 直接看系统建模： ​ 这是一个基于FL的边缘计算系统，包括两层：UE层和MEC层。其中，UE层包含M个UEs，而MEC层包括一个UAV作为MEC服务器。所有的UE都与UAV用D2D链路连接。 ​ 首先每个UE都会根据本地数据集Dm训练本地模型，然后把训练完后的参数传给UAV；然后 ...

论文地址：Paper tables with annotated results for Distributed Deep Reinforcement Learning Based Gradient Quantization for Federated Learning Enabled Vehicle Edge Computing | Papers With Code，SCI 一区，IF8.2。 摘要 ​ 本文的背景是联邦学习与车联边缘计算（vehicle edge computing, VEC）。联邦学习共享车辆本地模型的梯度而非数据本身，这样的意义是可以保护数据隐私；但模型梯度通常很大，传输延迟会很高，因此有人提出梯度量化的方式，即压缩梯度、减小比特数（即量化等级）来传递梯度。影响模型精确度和训练时间的指标主要在于：量化等级和阈值的选择，因为二者决定了量化的误差（quantization error，QE）。因此，总训练时间和量化误差QE就成了FL驱动的VEC中的关键指标，也即强化学习方法需要最大化的奖励。此外本文也建模了一种挑战，即时变信道条件。 简介 ​ 总 ...

摘要 ​ 在移动边缘计算（MEC）领域，高效的计算任务卸载对于确保用户的体验质量（QoE）至关重要。挑战：处理动态和不确定的移动环境。本文深入探讨了MEC系统中的计算卸载问题，其中严格的任务处理截止时间和能源限制可能会对系统性能产生不利影响。本文将计算任务卸载问题表述为一个马尔可夫决策过程（MDP），以最大化每个用户的长期QoE。我们提出了一种基于深度强化学习的分布式QoE导向的计算卸载（QECO）算法，该算法使移动设备能够在不需要了解其他设备所做的决策的情况下做出卸载决策。本文结果：能够完成14%更多的任务，并将任务延迟和能源消耗分别减少9%和6%；将平均QoE提高了37%。 简介 ​ 本文说，移动设备（MDs）技术虽然不断进步，但其有限的计算能力和电池容量可能导致任务丢失、处理延迟和整体较差的用户体验。通过将密集任务卸载到附近的边缘节点（ENs），可以增强计算能力、减少延迟和能源消耗，提高了用户的QoE。主要挑战在于：确定最优的卸载策略、调度任务、选择最适合的EN进行任务卸载、对延迟敏感等等。 ​ 而近期一些研究里，DRL被证明很有用，可以通过捕捉环境的动态性和学习实 ...

本文主要概述两篇相对早期的应用RL于边缘计算的论文。 文章一 第一篇是2019年的，题目是Smart Resource Allocation for Mobile Edge Computing: A Deep Reinforcement Learning Approach | IEEE Journals & Magazine | IEEE Xplore。 摘要 资源有限的移动设备面临着前所未有的严重容量限制,移动边缘计算（MEC）是一种有前途的解决方案。然而，MEC也有一些局限性：基础设施部署和维护的高成本，以及复杂多变的边缘计算环境。在这种情况下，重点在于：在变化的MEC条件下合理分配计算资源和网络资源以满足移动设备的需求。为了解决这个问题，我们提出了一种基于深度强化学习的智能资源分配（DRLRA）方案，它可以自适应地分配计算和网络资源，减少平均服务时间，并在变化的MEC环境下平衡资源的使用（文章主要考虑的是环境的突然变化性）。 系统建模 ​ 在无线通信的这些问题中，首先要做的就是对具体问题进行问题的建模。本文的系统建模图： 系统模型 ​ ...

论文地址：[2308.05384] Enhancing Deep Reinforcement Learning: A Tutorial on Generative Diffusion Models in Network Optimization (arxiv.org) 摘要 ​ 生成式扩散模型(GDM)作为代表性GAI，有很强的学习数据分布、生成高质量样本的能力，使得这种模型在图像生成、强化学习等领域很有效。本文提供了GDM在网络优化任务中的综合教程，详细说明了如何利用GDM解决网络中固有的优化问题。本文介绍了一系列案例研究，包括与深度强化学习（DRL）、激励机制设计、语义通信（SemCom）、车联网（IoV）网络等的整合。 简介 ​ 未来的智能网络，如摘要最后所述，其特点是高维配置、非线性关系和复杂决策过程。这些问题表现出复杂的动态性，对先前和当前状态以及环境有显著的依赖性，导致高维和多峰状态分布。在这种情况下，GDMs能够捕捉这种高维和复杂的结构，并有效地处理众多决策过程和优化问题。 ​ GDMs在优化中的作用可以分为增强'决策制定'和'深度强化学习'。例如在论文 ...

论文地址：[2303.01896] AI-Generated Incentive Mechanism and Full-Duplex Semantic Communications for Information Sharing (arxiv.org) 摘要 ​ 本文以元宇宙和混合现实技术为背景。以MR头戴式设备(HMD)为例，它们有限的计算能力阻碍了相关服务的发展；为此，本文提出了一种基于全双工设备到设备（D2D）语义通信的高效信息共享方案来解决这个问题，使得用户避免了繁重的计算（例如MR用户视角中的AIGC内容），即：用户可以从他们视角下的图像中提取语义信息和生成内容，传输给别的用户，这些用户可以使用这些信息来获得他们视角图像下的计算结果的空间匹配。在通信方面，作者通过使用广义小尺度衰落模型分析全双工D2D通信的性能，包括可实现的速率和比特错误概率。在促进语义信息共享方面，作者设计了一种基于合同理论的AI生成激励机制，用所提出的扩散模型生成最优的合同设计，超过了PPO和SAC算法。 简介 ​ 由于每个玩家相对独立，通过MR HMD显示给用户的场景需要分别计算和渲染， ...

论文地址：[2208.06193] Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning (arxiv.org) 摘要 ​ 离线强化学习旨在使用先前收集的静态数据集学习最优策略。标准的RL方法通常在这种情况下表现不佳，因为存在对于分布外动作（不满足于数据集分布）的函数近似误差。虽然已经提出了多种正则化方法来缓解这个问题，但它们通常受到表达能力有限的策略类别的限制。本文提出将策略表示为扩散模型，引入了扩散Q学习（Diffusion-QL,DQL），利用条件扩散模型来表示策略（条件即观测的状态）。本文学习一个动作价值函数，并且在条件扩散模型的训练损失中添加了一个最大化动作价值的项，使得损失寻求在behavior policy附近的最佳动作（即模仿学习，给出的数据集通常是expert dataset）。我们展示了基于扩散模型的策略的表达能力，以及在扩散模型下的行为克隆和策略改进的耦合，都有助于Diffusion-QL的卓越性能。 简介 ​ 离线强化学习旨在完全 ...

论文地址：[2303.13052] Diffusion-based Reinforcement Learning for Edge-enabled AI-Generated Content Services (arxiv.org) 摘要 ​ 背景：元宇宙时代，AIGC技术至关重要，但资源集中，需要分配。本文介绍了一个AIGC-as-a-Service (AaaS) 架构，把AIGC模型部署到边缘网络来确保让更多用户使用AIGC服务。尽管如此，为了提升用户个性化体验，需要仔细地选择能高效执行任务的AIGC Service Providers (ASPs)，这一问题因为环境不确定性和变化性而变得复杂。为此，本文提出了AI-Generated Optimal Decision (AGOD)算法，一个基于扩散模型的方法，用来生成最优ASP选择决策。将AGOD与Deep Reinforcement Learning (DRL)结合，作者提出了Deep Diffusion Soft Actor-Critic (D2SAC) 算法，提高了ASP选择的高效性（大致即，扩散模 ...