論文の概要: FedCoT: Communication-Efficient Federated Reasoning Enhancement for Large Language Models

• arxiv url: http://arxiv.org/abs/2508.10020v1
• Date: Thu, 07 Aug 2025 06:50:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-15 22:24:48.014049
• Title: FedCoT: Communication-Efficient Federated Reasoning Enhancement for Large Language Models
• Title（参考訳）: FedCoT: 大規模言語モデルのためのコミュニケーション効率の良いフェデレーション推論の強化
• Authors: Chuan Li, Qianyi Zhao, Fengran Mo, Cen Chen,
• Abstract要約: FedCoTは、フェデレートされた設定における推論を強化するために特別に設計された新しいフレームワークである。 推論精度と堅牢性を向上し、医療応用に欠かせない価値ある解釈性を提供する。
• 参考スコア（独自算出の注目度）: 14.173704018103454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficiently enhancing the reasoning capabilities of large language models (LLMs) in federated learning environments remains challenging, particularly when balancing performance gains with strict computational, communication, and privacy constraints. This challenge is especially acute in healthcare, where decisions-spanning clinical, operational, and patient-facing contexts-demand not only accurate outputs but also interpretable, traceable rationales to ensure safety, accountability, and regulatory compliance. Conventional federated tuning approaches on LLM fail to address this need: they optimize primarily for answer correctness while neglecting rationale quality, leaving CoT capabilities dependent on models' innate pre-training abilities. Moreover, existing methods for improving rationales typically rely on privacy-violating knowledge distillation from centralized models. Additionally, the communication overhead in traditional federated fine-tuning on LLMs remains substantial. We addresses this gap by proposing FedCoT, a novel framework specifically designed to enhance reasoning in federated settings. FedCoT leverages a lightweight chain-of-thought enhancement mechanism: local models generate multiple reasoning paths, and a compact discriminator dynamically selects the most promising one. This approach improves reasoning accuracy and robustness while providing valuable interpretability, which is particularly critical for medical applications. To manage client heterogeneity efficiently, we adopt an improved aggregation approach building upon advanced LoRA module stacking, incorporating client classifier-awareness to achieve noise-free aggregation across diverse clients. Comprehensive experiments on medical reasoning tasks demonstrate that FedCoT significantly boosts client-side reasoning performance under stringent resource budgets while fully preserving data privacy.
• Abstract（参考訳）: 連合学習環境における大規模言語モデル(LLM)の推論能力の効率的な向上は、特に厳密な計算、通信、プライバシ制約と性能向上のバランスをとる場合、依然として困難である。 この課題は、医療において特に深刻であり、意思決定が臨床、手術、患者が直面するコンテキスト-要求は、正確なアウトプットだけでなく、安全性、説明責任、規制の遵守を保証するために解釈可能でトレーサブルな根拠も必要である。 LLMの従来のフェデレートされたチューニングアプローチは、このニーズに対処することができない。彼らは主に答えの正しさを最適化し、合理的な品質を無視し、CoTの能力はモデル固有の事前訓練能力に依存している。 さらに、合理的性を改善するための既存の手法は、一般的に中央集権モデルからのプライバシーを侵害する知識の蒸留に依存している。 さらに,LLM上での従来のファインチューニングにおける通信オーバーヘッドも大きい。 我々はフェデレーション設定における推論を強化するために特別に設計された新しいフレームワークであるFedCoTを提案し、このギャップに対処する。 ローカルモデルは複数の推論パスを生成し、コンパクトな識別器は最も有望なものを動的に選択する。 このアプローチは推論精度とロバスト性を改善しながら、重要な解釈可能性を提供する。 クライアントのヘテロジニティを効率的に管理するために,先進的なLoRAモジュールスタック上に構築された改良されたアグリゲーションアプローチを採用し,多様なクライアント間のノイズフリーアグリゲーションを実現するために,クライアント分類器の認識を取り入れた。 医療推論タスクに関する総合的な実験は、FedCoTがデータプライバシを完全に保護しつつ、厳しいリソース予算の下でクライアント側の推論パフォーマンスを著しく向上させることを示している。

関連論文リスト

• Federated In-Context Learning: Iterative Refinement for Improved Answer Quality [62.72381208029899]
  In-context Learning (ICL) では、入力に提供される例を活用することで、パラメータを変更することなく、言語モデルで応答を生成することができる。 我々は,反復的協調プロセスを通じてICLを強化する汎用フレームワークであるFederated In-Context Learning (Fed-ICL)を提案する。 Fed-ICLは、クライアントと中央サーバ間のマルチラウンドインタラクションを活用することで、応答を徐々に洗練し、モデルパラメータを送信することなく、応答品質を向上させる。
  論文  参考訳（メタデータ） (2025-06-09T05:33:28Z)
• DisCO: Reinforcing Large Reasoning Models with Discriminative Constrained Optimization [55.06360285372418]
  グループ相対政策最適化は大規模推論モデル(LRM)の強化学習手法である 本研究では,2次報酬設定の下でGRPOの目的を解析し,質問レベルの難易度バイアスの固有の制限を明らかにする。 差別学習の原則を基礎として, LRMの強化のための新たな差別的制約付き最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-18T11:08:32Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。 本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement [67.1393112206885]
  大規模言語モデル(LLM)は、対話的な意思決定タスクにおいてインテリジェントなエージェントとして期待されている。 本稿では,トークンレベルでのLLMの最適化に適したエントロピー拡張RL法である,エントロピー正規化トークンレベル最適化(ETPO)を導入する。 我々は,データサイエンスコード生成を多段階対話型タスクのシリーズとしてモデル化したシミュレーション環境におけるETPOの有効性を評価する。
  論文  参考訳（メタデータ） (2024-02-09T07:45:26Z)
• On the Convergence of Zeroth-Order Federated Tuning for Large Language Models [36.277423093218275]
  Federated Learning and Large Language Models (LLMs) は、プライバシを保存する自然言語処理の新しい時代を支えている。 メモリ効率のゼロ階最適化は、FedMeZOと呼ばれる相乗効果である。 LLMの文脈でFedMeZOの理論的基盤を最初に検討した。
  論文  参考訳（メタデータ） (2024-02-08T18:56:40Z)
• FedAA: A Reinforcement Learning Perspective on Adaptive Aggregation for Fair and Robust Federated Learning [5.622065847054885]
  Federated Learning (FL)は、分散デバイス間でのプライバシ保護モデルトレーニングのための有望なアプローチとして登場した。 我々はtextbfAdaptive textbfAggregation を通じてクライアントのコントリビューションを最適化する textbfFedAA という新しい手法を導入し、悪意のあるクライアントに対するモデルロバスト性を高める。
  論文  参考訳（メタデータ） (2024-02-08T10:22:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。