Fugu-MT 論文翻訳(概要): FERA: Uncertainty-Aware Federated Reasoning for Large Language Models

論文の概要: FERA: Uncertainty-Aware Federated Reasoning for Large Language Models

arxiv url: http://arxiv.org/abs/2605.10082v1
Date: Mon, 11 May 2026 07:04:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:50.58766
Title: FERA: Uncertainty-Aware Federated Reasoning for Large Language Models
Title（参考訳）: FERA: 大規模言語モデルのための不確実性を考慮したフェデレーション推論
Authors: Ruhan Wang, Chengkai Huang, Zhiyong Wang, Junda Wu, Rui Wang, Tong Yu, Julian McAuley, Lina Yao, Dongruo Zhou,
Abstract要約: 我々は、サーバがプライベートなデモンストレーションを行う異種クライアントと協調することで、多段階推論を改善するフェデレーション推論について研究する。重要な課題は、クライアントの信頼性がクエリ依存であるのに対して、サーバはクライアントデータを検査して、どのコントリビューションが信頼できるかを判断できません。本稿では,サーバクライアントの反復的コリファインメントに基づくトレーニングフリーフレームワークである Uncertainty-Aware Federated Reasoning (FERA) を提案する。
参考スコア（独自算出の注目度）: 60.52562148874846
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large language models (LLMs) exhibit strong reasoning capabilities when guided by high-quality demonstrations, yet such data is often distributed across organizations that cannot centralize it due to regulatory, proprietary, or institutional constraints. We study federated reasoning, where a server improves multi-step reasoning by coordinating with heterogeneous clients holding private demonstrations, without centralized training or raw data sharing. The key challenge is that client reliability is query-dependent, while the server cannot inspect client data to determine which contributions are trustworthy. To address this, we propose Uncertainty-Aware Federated Reasoning (FERA), a training-free framework based on iterative server-client co-refinement. Across communication rounds, clients generate reasoning traces with lightweight uncertainty estimates, and the server synthesizes them into improved reasoning that is redistributed as context for the next round, progressively improving both server outputs and client-side reasoning. Within each round, Uncertainty-Aware Self-Critique Aggregation (UA-SCA) resolves conflicts among heterogeneous client traces through query-dependent trust weighting and structured cross-client verification. Rather than simply discarding low-quality traces, UA-SCA revises flawed reasoning steps to recover useful information. We provide theoretical guarantees showing that the proposed iterative protocol converges and that uncertainty-aware weighting accelerates convergence. Experiments on multiple reasoning benchmarks show that FERA consistently outperforms both federated training and training-free baselines, achieving progressively higher accuracy across rounds while maintaining communication and computational efficiency.
Abstract（参考訳）: 大規模言語モデル(LLM)は、高品質なデモンストレーションによってガイドされる場合、強力な推論能力を示すが、規制、プロプライエタリ、制度上の制約により、そのデータを集中できない組織に分散することが多い。本研究では、サーバが一元的トレーニングや生データ共有を伴わずに、プライベートなデモンストレーションを行う異種クライアントとコーディネートすることで、マルチステップ推論を改善するフェデレーション推論について検討する。重要な課題は、クライアントの信頼性がクエリ依存であるのに対して、サーバはクライアントデータを検査して、どのコントリビューションが信頼できるかを判断できません。そこで本研究では,サーバ依存の反復的コリファインメントに基づくトレーニングフリーフレームワークである Uncertainty-Aware Federated Reasoning (FERA) を提案する。通信ラウンド全体を通じて、クライアントは軽量な不確実性推定で推論トレースを生成し、サーバはそれらを、次のラウンドのコンテキストとして再配布される改善された推論に合成し、サーバ出力とクライアント側の推論の両方を徐々に改善する。各ラウンドにおいて、不確実性意識の自己批判集約(UA-SCA)は、クエリ依存の信頼重み付けと構造化されたクロスクライアント検証を通じて、異種クライアントトレース間の競合を解決する。単に低品質のトレースを捨てるのではなく、UA-SCAは有用な情報を取り戻すための欠陥のある推論手順を見直している。提案した反復プロトコルが収束し,不確実性を考慮した重み付けが収束を促進することを示す理論的保証を提供する。複数の推論ベンチマークの実験は、FERAがフェデレーショントレーニングとトレーニングなしベースラインの両方を一貫して上回り、通信と計算効率を維持しながら、ラウンド全体で徐々に高い精度を達成していることを示している。

関連論文リスト

Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文参考訳（メタデータ） (2026-05-08T07:08:25Z)
Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
論文参考訳（メタデータ） (2026-03-24T17:39:09Z)
ERIS: Enhancing Privacy and Communication Efficiency in Serverless Federated Learning [6.486831630436399]
ERISはサーバーのボトルネックを排除し、通信負荷を分散しながら、プライバシと精度のバランスをとるサーバレスFLフレームワークである。理論的には、ERISは標準仮定の下でFedAvgと同じ速度で収束し、(ii)アグリゲータ数と逆向きに相互情報漏洩を束縛する。
論文参考訳（メタデータ） (2026-02-09T13:05:41Z)
Stragglers Can Contribute More: Uncertainty-Aware Distillation for Asynchronous Federated Learning [61.249748418757946]
Asynchronous Federated Learning (FL)は、その効率性とスケーラビリティの向上に注目されている。我々は,不確実性を考慮した蒸留を組み込んだ新しいフレームワークであるFedEchoを提案し,非同期FL性能を向上する。 FedEchoが既存の非同期フェデレーション学習ベースラインを一貫して上回っていることを実証する。
論文参考訳（メタデータ） (2025-11-25T06:25:25Z)
Byzantine-Robust Federated Learning Using Generative Adversarial Networks [1.4091801425319963]
フェデレートラーニング(FL)は、生データを共有せずに分散クライアント間で協調的なモデルトレーニングを可能にするが、その堅牢性は、データやモデル中毒といったビザンチンの行動によって脅かされている。本稿では,クライアントの更新を検証するための代表データを生成するために,サーバ上の条件付き生成逆ネットワーク(cGAN)を活用することで,これらの課題に対処する防衛フレームワークを提案する。このアプローチは、外部データセットへの依存を排除し、多様な攻撃戦略に適応し、標準FLにシームレスに統合する。
論文参考訳（メタデータ） (2025-03-26T18:00:56Z)
Secure and Confidential Certificates of Online Fairness [8.681039636447865]
MLサービスの合法的かつ責任を負うためには、信頼性が不可欠である。モデルフェアネスを評価する既存の方法は、(i)静的なデータセットに対してフェアネスを証明するため、秘密裏に信頼性を欠いている。 OATH(OATH)は,オンライングループフェアネス認定のための,デプロイ性が高くスケーラブルなゼロ知識証明プロトコルである。
論文参考訳（メタデータ） (2024-09-17T16:00:35Z)
Certifiably Byzantine-Robust Federated Conformal Prediction [49.23374238798428]
本稿では,悪意のあるクライアントに対する堅牢な共形予測を行う新しいフレームワークRob-FCPを提案する。我々は、さまざまなビザンチン攻撃の下で、悪意のあるクライアントの多様な割合に対するRob-FCPの堅牢性を実証的に実証した。
論文参考訳（メタデータ） (2024-06-04T04:43:30Z)
FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文参考訳（メタデータ） (2022-12-14T13:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。