論文の概要: FedRef: Communication-Efficient Bayesian Fine-Tuning using a Reference Model

• arxiv url: http://arxiv.org/abs/2506.23210v3
• Date: Wed, 05 Nov 2025 00:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-06 18:19:32.105376
• Title: FedRef: Communication-Efficient Bayesian Fine-Tuning using a Reference Model
• Title（参考訳）: FedRef:参照モデルを用いたコミュニケーション効率の良いベイズファインチューニング
• Authors: Taehwan Yoon, Bongjun Choi, Wesley De Neve,
• Abstract要約: フェデレーション学習(FL)は、人工知能(AI)モデルを協調的にトレーニングし、ユーザのデータのプライバシを保証する。 従来の研究では、モデル性能を向上させるためにモデル最適化、微調整、パーソナライゼーションが提案されている。 本稿では,各ラウンドにおける破滅的忘れを克服するフェデレーション学習のための参照モデルに基づくファインチューニング手法を提案する。
• 参考スコア（独自算出の注目度）: 0.7100520098029438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning (FL) collaboratively trains artificial intelligence (AI) models to ensure user data privacy. Sharing only model updates generated from local training on client data with the server enhances user data privacy. However, model performance may suffer due to data and system heterogeneity among clients in FL scenarios. Previous studies have proposed model optimization, fine-tuning, and personalization to achieve improved model performance. Despite these efforts, models resulting from FL scenarios often exhibit catastrophic forgetting, which increases the communication and computational costs of clients for model optimization and raises energy consumption. To address these challenges, we propose a reference model-based fine-tuning method for federated learning that overcomes catastrophic forgetting in each round. Our method is derived from Bayesian parameter-efficient transfer learning and includes an proximal term. It employs a reference model that incorporates previous model parameters and reviews previous global features in the model optimization step to mitigate catastrophic forgetting. As a result, our method achieves higher model performance and lower communication and computational costs for clients than existing methods.
• Abstract（参考訳）: フェデレーション学習(FL)は、人工知能(AI)モデルを協調的にトレーニングして、ユーザのデータのプライバシを保証する。 クライアントデータのローカルトレーニングから生成されたモデル更新のみをサーバと共有することで、ユーザのデータのプライバシが向上する。 しかし、FLシナリオにおけるクライアント間のデータとシステムの不均一性により、モデルの性能が低下する可能性がある。 従来の研究では、モデル性能を向上させるためにモデル最適化、微調整、パーソナライゼーションが提案されている。 これらの努力にもかかわらず、FLシナリオから得られるモデルは、しばしば破滅的な忘れ込みを示し、モデル最適化のためのクライアントの通信と計算コストを増大させ、エネルギー消費を増加させる。 これらの課題に対処するために、各ラウンドにおける破滅的な忘れを克服するフェデレーション学習のための参照モデルに基づく微調整手法を提案する。 本手法はベイジアンパラメーター効率変換学習から導出され,近位項を含む。 これは、過去のモデルパラメータを組み込んだ参照モデルを採用し、破滅的な忘れを和らげるために、モデル最適化ステップで以前のグローバルな特徴をレビューする。 その結果,提案手法は既存手法よりも高いモデル性能を実現し,クライアントの通信コストや計算コストを低減できることがわかった。

関連論文リスト

• Intention-Conditioned Flow Occupancy Models [69.79049994662591]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Pre-training for Recommendation Unlearning [14.514770044236375]
  UnlearnRecはモデルに依存しない事前学習パラダイムであり、効率的な未学習操作のためのシステムを準備している。 本手法は,再学習手法に比べて10倍以上の高速化を実現した。
  論文  参考訳（メタデータ） (2025-05-28T17:57:11Z)
• Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
  ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。 異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。 PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
  論文  参考訳（メタデータ） (2025-05-20T09:17:07Z)
• Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient [9.519619751861333]
  本稿では,SSM(State Space Model)ベースの世界モデルDramaを提案し,メモリと計算の複雑さを$O(n)$で実現した。 また, 早期のトレーニングにおいて, 誤った世界モデルによって引き起こされる準最適性を緩和する新しいサンプリング手法を提案する。 ドラマは、標準のラップトップのような市販のハードウェアでアクセス可能で、トレーニングできる。
  論文  参考訳（メタデータ） (2024-10-11T15:10:40Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• CoDream: Exchanging dreams instead of models for federated aggregation with heterogeneous models [8.85591781936764]
  我々はCoDreamという新しいフレームワークを提案し、クライアントはランダムなデータを協調的に最適化する。 私たちの重要な洞察は、このデータを共同で最適化することで、グローバルなデータ分布の特性を効果的に捉えることができるということです。 モデルパラメータを共有しないにもかかわらず、標準的なFLタスクでCoDreamを実証的に検証し、競争性能を実証する。
  論文  参考訳（メタデータ） (2024-02-25T03:07:32Z)
• Fairer and More Accurate Tabular Models Through NAS [14.147928131445852]
  本稿では,多目的ニューラルアーキテクチャサーチ (NAS) とハイパーパラメータ最適化 (HPO) を,表データの非常に困難な領域への最初の応用として提案する。 我々はNASで精度のみに最適化されたモデルが、本質的に公正な懸念に対処できないことをしばしば示している。 公平性、正確性、あるいは両方において、最先端のバイアス緩和手法を一貫して支配するアーキテクチャを作成します。
  論文  参考訳（メタデータ） (2023-10-18T17:56:24Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• SCEI: A Smart-Contract Driven Edge Intelligence Framework for IoT Systems [15.796325306292134]
  フェデレートラーニング(FL)は、データプライバシを維持しながら、エッジデバイス上で共有モデルの協調トレーニングを可能にする。 様々なパーソナライズされたアプローチが提案されているが、そのようなアプローチはデータ分散の根底にある変化に対処できない。 本稿では,ブロックチェーンとフェデレーション学習に基づく動的に最適化された個人深層学習手法を提案する。
  論文  参考訳（メタデータ） (2021-03-12T02:57:05Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。