論文の概要: Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation

• arxiv url: http://arxiv.org/abs/2601.17133v1
• Date: Fri, 23 Jan 2026 19:18:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-27 15:23:07.29983
• Title: Learning to Collaborate: An Orchestrated-Decentralized Framework for Peer-to-Peer LLM Federation
• Title（参考訳）: コラボレーションの学習 - Peer-to-Peer LLM Federationのための組織化された分散フレームワーク
• Authors: Inderjeet Singh, Eleonore Vissol-Gaudin, Andikan Otung, Motoyoshi Sekiya,
• Abstract要約: 本稿では,分散化を組織化するための新しいフレームワークであるKNEXA-FLを紹介する。 非集約型のCentral Profiler/Matchmakerを採用しており、P2Pコラボレーションを文脈的盗聴問題として定式化している。 実験の結果,KNEXA-FLはP2Pのランダムな協調に対して約50%の精度でPass@1を向上することがわかった。
• 参考スコア（独自算出の注目度）: 0.9231476323484774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning Large Language Models (LLMs) for specialized domains is constrained by a fundamental challenge: the need for diverse, cross-organizational data conflicts with the principles of data privacy and sovereignty. While Federated Learning (FL) provides a framework for collaboration without raw data exchange, its classic centralized form introduces a single point of failure and remains vulnerable to model inversion attacks. Decentralized FL (DFL) mitigates this risk by removing the central aggregator but typically relies on inefficient, random peer-to-peer (P2P) pairings, forming a collaboration graph that is blind to agent heterogeneity and risks negative transfer. This paper introduces KNEXA-FL, a novel framework for orchestrated decentralization that resolves this trade-off. KNEXA-FL employs a non-aggregating Central Profiler/Matchmaker (CPM) that formulates P2P collaboration as a contextual bandit problem, using a LinUCB algorithm on abstract agent profiles to learn an optimal matchmaking policy. It orchestrates direct knowledge exchange between heterogeneous, PEFT-based LLM agents via secure distillation, without ever accessing the models themselves. Our comprehensive experiments on a challenging code generation task show that KNEXA-FL yields substantial gains, improving Pass@1 by approx. 50% relative to random P2P collaboration. Critically, our orchestrated approach demonstrates stable convergence, in stark contrast to a powerful centralized distillation baseline which suffers from catastrophic performance collapse. Our work establishes adaptive, learning-based orchestration as a foundational principle for building robust and effective decentralized AI ecosystems.
• Abstract（参考訳）: 特殊ドメイン用の微調整大型言語モデル(LLM)は、データプライバシと主権の原則と、多種多様な組織間データの必要性という根本的な課題によって制約されている。 Federated Learning(FL)は生のデータ交換なしにコラボレーションするためのフレームワークを提供するが、古典的な中央集権的な形式は単一障害点を導入し、逆攻撃のモデルに弱いままである。 分散FL(DFL)は、中央アグリゲータを除去することでこのリスクを緩和するが、通常は非効率でランダムなピアツーピア(P2P)ペアリングに依存し、不均一性を阻害し負の移動リスクを負うコラボグラフを形成する。 本稿では,このトレードオフを解消する分散化を組織化するための新しいフレームワークであるKNEXA-FLを紹介する。 KNEXA-FLは、抽象エージェントプロファイル上のLinUCBアルゴリズムを用いて、P2Pコラボレーションを文脈的盗聴問題として定式化する非集約型中央プロファイラ/マッチメーカー(CPM)を採用している。 不均一でPEFTをベースとしたLLMエージェント間の直接知識交換を、モデル自体にアクセスすることなくセキュアな蒸留によってオーケストレーションする。 難易度の高いコード生成タスクに関する包括的な実験は、KNEXA-FLがかなりの利益をもたらし、Pass@1を近似によって改善していることを示している。 50%であった。 批判的に,我々の組織的アプローチは,破滅的な性能崩壊に苦しむ強力な集中蒸留ベースラインとは対照的に,安定した収束を示す。 私たちの仕事は、堅牢で効果的な分散AIエコシステムを構築するための基本原則として、適応的で学習ベースのオーケストレーションを確立します。

関連論文リスト

• Scaling Decentralized Learning with FLock [31.883271929012977]
  本稿では,大規模言語モデル(LLM)を微調整する分散型フレームワークであるFLockを紹介する。 ブロックチェーンベースの信頼層と経済的インセンティブを統合することで、FLockは、中央アグリゲータを、信頼できない関係者間の協力のためのセキュアで監査可能なプロトコルに置き換える。 我々の実験は、FLockフレームワークが標準FLを侵害するバックドア毒殺攻撃を防いでいることを示している。
  論文  参考訳（メタデータ） (2025-07-21T08:01:43Z)
• UnifyFL: Enabling Decentralized Cross-Silo Federated Learning [0.0]
  We developed a trust-based cross-silo Federated Learning framework called UnifyFL。 多様なテストベッドを用いた評価の結果,UnifyFLは理想的なマルチレベル集中型FLに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-26T13:15:40Z)
• Decentralized Directed Collaboration for Personalized Federated Learning [39.29794569421094]
  我々は分散トレーニングモデル計算を行う分散パーソナライズドラーニング(DPFL)に集中する。 我々は, textbfDecentralized textbfFederated textbfPartial textbfGradient textbfPedGP を組み込んだ協調型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-28T06:52:19Z)
• Decentralized Federated Policy Gradient with Byzantine Fault-Tolerance and Provably Fast Convergence [21.935405256685307]
  Federated Reinforcement Learning (FRL)では、エージェントは共通のタスクを協調的に学習することを目的としており、各エージェントは生の軌跡を交換することなく、そのローカル環境で行動している。 我々はまず,非フォールトトレラントPGの仮定標準にのみ依存して既存の手法を改善する,新しい集中型ビザンチンフォールトトレラントポリシー(PG)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-07T14:06:06Z)
• DFedADMM: Dual Constraints Controlled Model Inconsistency for Decentralized Federated Learning [52.83811558753284]
  分散学習(DFL)は、中央サーバーを捨て、分散通信ネットワークを確立する。 既存のDFL手法は依然として、局所的な矛盾と局所的な過度なオーバーフィッティングという2つの大きな課題に悩まされている。
  論文  参考訳（メタデータ） (2023-08-16T11:22:36Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Combating Exacerbated Heterogeneity for Robust Models in Federated Learning [91.88122934924435]
  対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。 我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。 各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
  論文  参考訳（メタデータ） (2023-03-01T06:16:15Z)
• Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
  ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。 提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。 遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
  論文  参考訳（メタデータ） (2021-01-18T07:19:08Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。