論文の概要: FedReason: Large Language Models as Weight-Space Meta-Aggregators for Heterogeneous Federated Learning
- arxiv url: http://arxiv.org/abs/2611.08383v1
- Date: Thu, 05 Nov 2026 18:00:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.609625
- Title: FedReason: Large Language Models as Weight-Space Meta-Aggregators for Heterogeneous Federated Learning
- Title(参考訳): FedReason: ヘテロジニアスフェデレーション学習のための重み付きメタアグリゲータとしての大規模言語モデル
- Abstract要約: 本研究では,クライアントモデルを検査する大規模言語モデル (LLM) が,サーバ上でのトレーニングなしにルール自体を選択できるかどうかを検討する。
CIFAR-10 と CIFAR-100 で FedReason を CIFAR-10 と CIFAR-100 で評価した。
- 参考スコア(独自算出の注目度): 1.9269719158344503
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning servers combine client models with a fixed aggregation rule, and each rule in common use is designed for one kind of heterogeneity. We study whether a large language model (LLM) that inspects the client models can choose the rule itself, without any training on the server. In FedReason, the LLM is called every ten rounds. It analyses the weights by running code in a restricted server-side sandbox, sees only the printed results, may score a few candidates on a 500-image proxy set, and submits a short Python aggregation program. The server applies the program until the next call and falls back to FedAvg whenever its output is invalid. Full weight tensors never leave the server. We evaluated FedReason with Claude Opus 5.5 on CIFAR-10 and CIFAR-100 with ResNet-18 under Dirichlet label skew, width-heterogeneous sub-models and Byzantine clients, in 168 runs against 14 baselines. Across 12 paired label-skew runs it beat FedAvg by 1.26 percentage points on average (10 wins), and a control that spends the same per-round proxy budget on choosing among standard rules by 1.08 points. It was the strongest server-side rule on CIFAR-100 but did not beat SCAFFOLD, which changes client training. With three of ten clients malicious, it excluded all sign-flipping clients from the first round and stayed about one point below FLTrust without training a root model. Without proxy feedback, accuracy fell from 73.8% to 38.8% in one seed. A 60-round run cost 0.79 USD in API fees on average.
- Abstract(参考訳): フェデレートされた学習サーバは、クライアントモデルと固定アグリゲーションルールを組み合わせる。
本研究では,クライアントモデルを検査する大規模言語モデル (LLM) が,サーバ上でのトレーニングなしにルール自体を選択できるかどうかを検討する。
フェデレーソンでは、LLMは10ラウンドごとに呼ばれる。
制限されたサーバサイドのサンドボックスでコードを実行することで重みを分析し、プリント結果のみを確認し、500イメージのプロキシセットでいくつかの候補をスコアし、短いPythonアグリゲーションプログラムを提出する。
サーバは次の呼び出しまでプログラムを適用し、出力が無効になるたびにFedAvgにフォールバックする。
フルウェイトテンソルはサーバを離れることはありません。
CIFAR-10 と CIFAR-100 で FedReason を CIFAR-10 と CIFAR-100 で評価した。
12組のラベルスキューがFedAvgを平均1.26ポイント(10勝)で破り、標準ルールの中から1.08ポイントを選択できる。
CIFAR-100では最強のサーバサイドルールであったが、SCAFFOLDに勝っておらず、クライアントのトレーニングが変更された。
10のクライアントのうち3つは悪意があり、最初のラウンドからすべてのサインフリップクライアントを除外し、ルートモデルをトレーニングすることなくFLTrustの1ポイント下にとどまった。
プロキシフィードバックがなければ、精度は73.8%から38.8%に低下した。
60ラウンドのランニングの平均API料金は0.79米ドルである。
関連論文リスト
- Federated Art Chase: Privacy Leakage and Data Poisoning in Federated Fine-Tuning [0.0]
フェデレートラーニング(FL)は、ユーザーデバイスに残るデータに、事前訓練された、集中的に微調整されたモデルを適用するために、ますます使われています。
再現可能なパイプラインを用いて,このアプローチのプライバシと完全性について検討する。
レポートは、参加者がIndigmaのFedMaestroオーケストレータを通じてモデルを描画、微調整、毒殺するライブセッションで終了する。
論文 参考訳(メタデータ) (2026-10-15T09:11:39Z) - WaSA: Wavelet Scattering Autoencoders for Unsupervised Offline Detection of Malicious Clients in Federated Learning [51.56484100374058]
Federated Learning(FL)は、生データを公開することなく、協調的なモデルトレーニングを可能にする。
我々は、悪意のあるクライアント検出のための完全に教師なしのオフラインフレームワーク、WaSAを提案する。
クリーンな補助データのみに基づいて訓練されたデノナイジングオートエンコーダは、学習された良性多様体からの偏差に基づいてクライアントをスコアする。
論文 参考訳(メタデータ) (2026-10-09T08:10:10Z) - PVBRF-ID: Private, Verifiable and Byzantine-Robust Federated Intrusion Detection for Oilfield Enterprise Networks [0.41942958779358674]
PVBRF-IDは、サイトが更新を秘密に共有し、サーバが各更新の基準を共同でテストする2サーバプロトコルである。
コミット、メルクル根、同型監査は、承認された更新を公に検証する。
論文 参考訳(メタデータ) (2026-10-08T20:34:03Z) - ORDERS: An Empirical Study of Norm-Rank Aggregation for Personalized Federated Learning [0.0]
本稿では,共有バックボーン,プライベートな残差アダプタと分類器,および更新ノルムによって割り当てられた幾何重みを組み合わせた構成について検討する。
8つの設定、2つのデータセット、データセット毎に1つの固定パーティションに5つのトレーニングシード。
2クラス毎のCIFAR-10では、ORDERS 80.51 pm 0.79%$ネイティブ平均クライアント精度が79.02 pm 1.42%$のFedPer-R1と80.27 pm 0.73%$の一致した一様ウェイト制御が達成されている。
論文 参考訳(メタデータ) (2026-10-07T16:31:44Z) - HE-OFT: Privacy-Preserving One-Shot Federated Fine-Tuning under Homomorphic Encryption [1.332713003014756]
HE-OFT(英語版)は、訓練されたモデルを受け取らない最初の暗号でセキュアなワンショット・フェデレーション・ファインチューニングプロトコルである。
4つのテキスト分類タスクでは、HE-OFTは61~79パーセントの精度に達し、クライアントのトレーニング単独では20~48パーセントである。
論文 参考訳(メタデータ) (2026-10-06T12:35:08Z) - What a Random Draw from the MCP Registry Contains, and What Tool-Use Benchmarks Contain Instead [0.0]
未確認の確率サンプルが実際に含んでいるものについて報告する。
24,135サーバのレジストリの国勢調査から400 npm/stdioサーバを公開して,それぞれをワイヤ越しに調査します。
論文 参考訳(メタデータ) (2026-09-10T01:33:53Z) - FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the
Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。
本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。
各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。
アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文 参考訳(メタデータ) (2023-11-19T04:43:16Z) - BAFFLE: A Baseline of Backpropagation-Free Federated Learning [71.09425114547055]
フェデレートラーニング(FL)は、分散クライアントがローカルデータを共有せずにサーバモデルをまとめて訓練する一般的な原則である。
我々は、バックプロパゲーションを複数のフォワードプロセスに置き換えて勾配を推定する、BAFFLEと呼ばれる、バックプロパゲーションフリーなフェデレーション学習を開発する。
BAFFLEは、1)メモリ効率が高く、アップロード帯域幅に適しており、2)推論のみのハードウェア最適化とモデル量子化やプルーニングと互換性があり、3)信頼できる実行環境に適している。
論文 参考訳(メタデータ) (2023-01-28T13:34:36Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。