論文の概要: Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks

• arxiv url: http://arxiv.org/abs/2511.02647v1
• Date: Tue, 04 Nov 2025 15:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:06.088753
• Title: Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks
• Title（参考訳）: Federated Attention:エッジネットワーク上での協調LLM推論のための分散パラダイム
• Authors: Xiumei Deng, Zehui Xiong, Binbin Chen, Dong In Kim, Merouane Debbah, H. Vincent Poor,
• Abstract要約: 大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。 しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。 我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
• 参考スコア（独自算出の注目度）: 63.541114376141735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are proliferating rapidly at the edge, delivering intelligent capabilities across diverse application scenarios. However, their practical deployment in collaborative scenarios confronts fundamental challenges: privacy vulnerabilities, communication overhead, and computational bottlenecks. To address these, we propose Federated Attention (FedAttn), which integrates the federated paradigm into the self-attention mechanism, creating a new distributed LLM inference framework that simultaneously achieves privacy protection, communication efficiency, and computational efficiency. FedAttn enables participants to perform local self-attention over their own token representations while periodically exchanging and aggregating Key-Value (KV) matrices across multiple Transformer blocks, collaboratively generating LLM responses without exposing private prompts. Further, we identify a structural duality between contextual representation refinement in FedAttn and parameter optimization in FL across private data, local computation, and global aggregation. This key insight provides a principled foundation for systematically porting federated optimization techniques to collaborative LLM inference. Building on this framework, we theoretically analyze how local self-attention computation within participants and heterogeneous token relevance among participants shape error propagation dynamics across Transformer blocks. Moreover, we characterize the fundamental trade-off between response quality and communication/computation efficiency, which is governed by the synchronization interval and the number of participants. Experimental results validate our theoretical analysis, and reveal significant optimization opportunities through sparse attention and adaptive KV aggregation, highlighting FedAttn's potential to deliver scalability and efficiency in real-world edge deployments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。 しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。 そこで本稿では,フェデレートされたパラダイムを自己認識機構に統合したフェデレーション・アテンション(FedAttn)を提案する。 FedAttnは、参加者がキーバリュー(KV)行列を複数のTransformerブロックで定期的に交換し、プライベートなプロンプトを公開せずにLLM応答を共同で生成しながら、自身のトークン表現に対してローカルな自己アテンションを実行することを可能にする。 さらに、FedAttnにおける文脈表現の洗練とFLにおけるパラメータの最適化と、プライベートデータ、局所計算、グローバルアグリゲーションとの間の構造的双対性を同定する。 この重要な洞察は、フェデレーション最適化手法を協調LLM推論に体系的に移植するための原則的な基盤を提供する。 本稿では,この枠組みに基づいて,トランスフォーマーブロック間の局所的自己注意計算と,参加者間の異種トークン関連性について理論的に解析する。 さらに、応答品質と通信/計算効率の基本的なトレードオフを特徴付け、同期間隔と参加者数によって制御される。 実験結果は,我々の理論的分析を検証し,スパースアテンションと適応KVアグリゲーションによる大幅な最適化の機会を明らかにし,実世界のエッジデプロイメントにおいてスケーラビリティと効率性を提供するFedAttnの可能性を強調した。

関連論文リスト

• Subgraph Federated Learning via Spectral Methods [52.40322201034717]
  FedLapは、プライバシとスケーラビリティを確保しながら、ノード間の依存関係をキャプチャする新しいフレームワークである。 我々は、FedLapのプライバシを正式に分析し、プライバシを保存することを実証する。
  論文  参考訳（メタデータ） (2025-10-29T16:22:32Z)
• Localist LLMs with Recruitment Learning [0.0]
  連続的に調整可能な内部表現を持つ大規模言語モデルを訓練するための新しいフレームワークを提案する。 主な革新は,(1) モデルの再訓練を必要とせず,訓練と推論の双方において局所化の度合いを動的に制御する局所性ダイヤル,(2) セマンティックブロックを必要に応じて適応的に割り当てる情報理論的採用機構である。
  論文  参考訳（メタデータ） (2025-10-20T09:58:34Z)
• VeriLLM: A Lightweight Framework for Publicly Verifiable Decentralized Inference [3.8760740008451156]
  本稿では,分散言語モデル (LLM) 推論のための公開検証プロトコルであるVeriLLMを紹介する。 VeriLLMは、軽量な経験的再実行と暗号的なコミットメントを組み合わせることで、検証者は基礎となる推論コストの約1%で結果を検証することができる。 We show that VeriLLM achieve reliable public verifiability with least overhead。
  論文  参考訳（メタデータ） (2025-09-29T04:07:32Z)
• Federated Learning-Enabled Hybrid Language Models for Communication-Efficient Token Transmission [87.68447072141402]
  ハイブリッド言語モデル(HLM)は、エッジデバイス上でのSLM(Small Language Model)の低レイテンシ効率と、集中型サーバ上でのLLM(Large Language Model)の高精度を組み合わせたものである。 我々は、不確実性を考慮した推論とフェデレートラーニング(FL)を統合する通信効率の高いHLMフレームワークであるFedHLMを提案する。
  論文  参考訳（メタデータ） (2025-06-30T02:56:11Z)
• FedPref: Federated Learning Across Heterogeneous Multi-objective Preferences [2.519319150166215]
  Federated Learning(FL)は、トレーニングデータが分散デバイスによって所有され、共有できない設定のために開発された分散機械学習戦略である。 FLの現実的な設定への応用は、参加者間の不均一性に関連する新たな課題をもたらします。 この設定でパーソナライズされたFLを促進するために設計された最初のアルゴリズムであるFedPrefを提案する。
  論文  参考訳（メタデータ） (2025-01-23T12:12:59Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Asynchronous Online Federated Learning with Reduced Communication Requirements [6.282767337715445]
  通信効率のよい非同期オンライン連合学習(PAO-Fed)戦略を提案する。 参加者のコミュニケーションオーバーヘッドを減らすことで,学習課題への参加をよりアクセスしやすく,効率的に行うことができる。 提案手法の総合シミュレーションを行い,提案手法の有効性について検討した。
  論文  参考訳（メタデータ） (2023-03-27T14:06:05Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。