論文の概要: Efficient Knowledge Transfer in Federated Bayesian Optimization through Neural Network Surrogates
- arxiv url: http://arxiv.org/abs/2611.15707v1
- Date: Wed, 11 Nov 2026 16:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.198472
- Title: Efficient Knowledge Transfer in Federated Bayesian Optimization through Neural Network Surrogates
- Title(参考訳): ニューラルネットワークサロゲートによるフェデレートベイズ最適化における効率的な知識伝達
- Abstract要約: 我々は、プライバシーを損なうことなく、異なるが関連する目的にまたがる効率的な知識伝達を可能にする新しいフレームワークGLOBAFEDを提案する。
最適化の間、エージェントは共有バックボーン上でフェデレーション学習を使用して共通の潜在機能表現を協調的に構築する。
実験の結果, GLOBAFEDはコンバージェンスを著しく加速し, 最先端のFedBOベースラインよりも優れた最終性能が得られることが示された。
- 参考スコア(独自算出の注目度): 48.745071064758804
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Bayesian Optimization (FedBO) has emerged as a powerful paradigm for enhancing Bayesian Optimization (BO) in distributed, privacy-sensitive settings, enabling agents to accelerate the optimization of their local objectives by sharing knowledge about their similarities without exposing raw data. However, existing methods rely on restrictive assumptions, such as near-identical objective functions or shared Gaussian process hyperparameters that are often violated in heterogeneous real-world applications. We present GLOBAFED, a novel framework that enables efficient knowledge transfer across different but related objectives without compromising privacy. At its core is a probabilistic neural network surrogate with a shared feature-extracting backbone and agent-specific heads equipped with varia- tional Bayesian last layers to provide uncertainty estimates. During optimization, agents use federated learning on the shared backbone to collaboratively build a common latent feature representation, while agent-specific heads adapt to their individual objectives. Our empirical results demonstrate that GLOBAFED significantly accelerates convergence and reaches better final performance compared to state-of-the-art FedBO baselines, and enables agents to warm-start their optimization from previously learned global features.
- Abstract(参考訳): フェデレートベイズ最適化(Federated Bayesian Optimization, FedBO)は、分散されたプライバシーに敏感な設定でベイズ最適化(BO)を強化するための強力なパラダイムとして登場した。
しかし、既存の手法は、ほぼ同一の目的関数や共有ガウス過程ハイパーパラメータのような制約的な仮定に依存し、しばしば異種現実世界の応用に違反する。
我々は、プライバシーを損なうことなく、異なるが関連する目的に対して効率的な知識伝達を可能にする新しいフレームワークGLOBAFEDを提案する。
中心となるのが確率論的ニューラルネットワークで、特徴抽出のバックボーンと、バリア・オプショナルベイズ最後の層を備えたエージェント固有の頭を持ち、不確実な推定を提供する。
最適化の間、エージェントは共有バックボーン上でフェデレーション学習を使用して共通の潜在特徴表現を協調的に構築し、エージェント固有のヘッドはそれぞれの目的に適応する。
実験の結果、GLOBAFEDは、最先端のFedBOベースラインと比較してコンバージェンスを著しく加速し、最終性能が向上し、エージェントが以前に学習したグローバル機能から最適化をウォームスタートできることを示した。
関連論文リスト
- Distributed Direct Preference Optimization [3.0957695592556007]
直接選好最適化(DPO)は、明示的な報酬モデリングを避けるが、連合的および分散的なトレーニングの下での収束保証が欠如している。
分散環境におけるDPOの最初の収束解析と時間複雑度解析を行う。
連合DPOでは、クライアントのドリフト、通信周波数、嗜好の不均一性の影響を定量化する収束率を導出する。
分散DPOでは、一般的な通信グラフに対する収束を確立し、スペクトル接続が最適化速度とコンセンサスをどのように支配するかを示す。
論文 参考訳(メタデータ) (2026-05-20T04:49:13Z) - FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。
パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。
複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
論文 参考訳(メタデータ) (2026-03-20T08:24:49Z) - FedUTR: Federated Recommendation with Augmented Universal Textual Representation for Sparse Interaction Scenarios [58.33672784127872]
フェデレーションレコメンデーション(FR)は、デバイス上のプライバシ保護パラダイムとして登場した。
本稿では,対話行動の補完として項目文表現を取り入れたFedUTRという新しい手法を提案する。
提案手法は,SOTAベースラインと比較して,全データセットの最大59%の改善を達成し,優れた性能を実現する。
論文 参考訳(メタデータ) (2026-01-29T08:55:19Z) - Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。
しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。
我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
論文 参考訳(メタデータ) (2025-11-04T15:14:58Z) - Socially inspired Adaptive Coalition and Client Selection in Federated Learning [36.94429692322632]
フェデレートラーニング(FL)は、プライバシ保護のための協調モデルトレーニングを可能にするが、その効果はクライアントデータの不均一性によって制限されることが多い。
i)合意に基づいてクライアントの非重複連立を動的に形成し、(ii)モデル更新のばらつきを最小限に抑えるために、各連立から1人の代表を選定するクライアント選択アルゴリズムを導入する。
提案手法は, 近距離行列をスペクトルクラスタリングに利用し, 集団の集合的意見を推定する最も情報性の高い個人を特定する手法として, ソーシャルネットワークモデリングに着想を得たものである。
論文 参考訳(メタデータ) (2025-06-03T14:04:31Z) - Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
分散最適化パラダイムとしてフェデレートラーニングが登場した。
本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。
我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
論文 参考訳(メタデータ) (2024-10-07T23:14:05Z) - Asynchronous Message-Passing and Zeroth-Order Optimization Based Distributed Learning with a Use-Case in Resource Allocation in Communication Networks [11.182443036683225]
分散学習と適応は大きな関心を集め、機械学習信号処理に広く応用されている。
本稿では、エージェントが共通のタスクに向けて協調するシナリオに焦点を当てる。
送信者として働くエージェントは、グローバルな報酬を最大化するために、それぞれのポリシーを共同で訓練する。
論文 参考訳(メタデータ) (2023-11-08T11:12:27Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳(メタデータ) (2023-05-01T20:04:46Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-03-27T07:57:04Z) - Latent-Optimized Adversarial Neural Transfer for Sarcasm Detection [50.29565896287595]
サーカズム検出のための共通データセットを活用するために,転送学習を適用する。
異なる損失が互いに対応できる汎用的な潜時最適化戦略を提案します。
特に、isarcasmデータセットの以前の状態よりも10.02%の絶対性能向上を達成している。
論文 参考訳(メタデータ) (2021-04-19T13:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。