論文の概要: Federated Learning with Ad-hoc Adapter Insertions: The Case of Soft-Embeddings for Training Classifier-as-Retriever

• arxiv url: http://arxiv.org/abs/2509.16508v1
• Date: Sat, 20 Sep 2025 03:07:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.82878
• Title: Federated Learning with Ad-hoc Adapter Insertions: The Case of Soft-Embeddings for Training Classifier-as-Retriever
• Title（参考訳）: アドホック・アダプタ・インサーションを用いたフェデレートラーニング--訓練用ソフトエンベッドディングを事例として-
• Authors: Marijan Fofonjka, Shahryar Zehtabi, Alireza Behtash, Tyler Mauer, David Stout,
• Abstract要約: そこで本研究では,新しいコーパスのトークン埋め込みを学習してソフト埋め込みを改良し,完全微調整よりも少ない計算能力で更新できる新しいエンコーダを提案する。 フェデレーションラーニング(FL)とディファレンシャルプライバシ(DP)を採用して、効率的でプライバシーに制約のあるプロダクトグレードのトレーニングソリューションを実現する。
• 参考スコア（独自算出の注目度）: 0.6524460254566904
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: When existing retrieval-augmented generation (RAG) solutions are intended to be used for new knowledge domains, it is necessary to update their encoders, which are taken to be pretrained large language models (LLMs). However, fully finetuning these large models is compute- and memory-intensive, and even infeasible when deployed on resource-constrained edge devices. We propose a novel encoder architecture in this work that addresses this limitation by using a frozen small language model (SLM), which satisfies the memory constraints of edge devices, and inserting a small adapter network before the transformer blocks of the SLM. The trainable adapter takes the token embeddings of the new corpus and learns to produce enhanced soft embeddings for it, while requiring significantly less compute power to update than full fine-tuning. We further propose a novel retrieval mechanism by attaching a classifier head to the SLM encoder, which is trained to learn a similarity mapping of the input embeddings to their corresponding documents. Finally, to enable the online fine-tuning of both (i) the encoder soft embeddings and (ii) the classifier-as-retriever on edge devices, we adopt federated learning (FL) and differential privacy (DP) to achieve an efficient, privacy-preserving, and product-grade training solution. We conduct a theoretical analysis of our methodology, establishing convergence guarantees under mild assumptions on gradient variance when deployed for general smooth nonconvex loss functions. Through extensive numerical experiments, we demonstrate (i) the efficacy of obtaining soft embeddings to enhance the encoder, (ii) training a classifier to improve the retriever, and (iii) the role of FL in achieving speedup.
• Abstract（参考訳）: 既存の検索拡張生成(RAG)ソリューションが新しい知識ドメインに使用されることを意図した場合には,事前訓練された大規模言語モデル(LLM)であるエンコーダを更新する必要がある。 しかし、これらの大きなモデルの完全な微調整は、計算とメモリ集約であり、リソース制約のあるエッジデバイスにデプロイしても実現不可能である。 本研究では,エッジデバイスのメモリ制約を満足し,SLMのトランスフォーマーブロックの前に小さなアダプタネットワークを挿入する冷凍小言語モデル(SLM)を用いて,この制限に対処する新しいエンコーダアーキテクチャを提案する。 トレーニング可能なアダプタは、新しいコーパスのトークン埋め込みを取得し、拡張されたソフト埋め込みを生成することを学ぶ。 さらに,SLMエンコーダに分類器ヘッドを付加することにより,入力埋め込みの類似性マッピングを学習する新たな検索機構を提案する。 最後に、両方のオンライン微調整を可能にするために 一 エンコーダのソフト埋め込み及び (2)エッジデバイス上での分類器・アズ・レトリバーは,フェデレーションラーニング(FL)とディファレンシャルプライバシ(DP)を採用し,効率的でプライバシ保護,製品グレードのトレーニングソリューションを実現する。 一般の滑らかな非凸損失関数に展開する際の勾配分散の軽微な仮定の下で収束保証を確立する。 広範な数値実験を通して、我々は 一 エンコーダを強化するためのソフト埋め込みの効力 二 検索者を改善するための分類器の訓練及び 三 スピードアップの達成におけるFLの役割

関連論文リスト

• OCTANE -- Optimal Control for Tensor-based Autoencoder Network Emergence: Explicit Case [0.0]
  本稿では,自己エンコーダ型ディープニューラルネットワークのための数学的に厳密なフレームワークを提案する。 これはメモリ効率のトレーニングとアーキテクチャの自動発見をもたらす。 フレームワークのユーティリティは、イメージのデノイングとデブロアリングタスクへのアプリケーションで説明されている。
  論文  参考訳（メタデータ） (2025-09-09T22:11:33Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• SacFL: Self-Adaptive Federated Continual Learning for Resource-Constrained End Devices [38.27552394580526]
  継続的変更やデータドリフトを特徴とするデータの動的性質は、デバイス上での機械学習モデルに重大な課題を提起する。 継続的学習に対する従来の集中型アプローチは、プライバシやデータボリュームの懸念から、エンドデバイスには適さない。 FCLは有望なソリューションとして登場し、ユーザデータをローカルに保存し、コラボレーティブアップデートによるモデル拡張を行う。
  論文  参考訳（メタデータ） (2025-05-01T07:26:35Z)
• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Stochastic Coded Federated Learning: Theoretical Analysis and Incentive Mechanism Design [18.675244280002428]
  我々は、コード化されたコンピューティング技術を活用する新しいFLフレームワーク、コード付きフェデレーションラーニング(SCFL)を提案する。 SCFLでは、各エッジデバイスがプライバシを保存するコード化されたデータセットをサーバにアップロードする。 SCFLは、与えられた時間内でより良いモデルを学び、ベースライン方式よりも優れたプライバシーとパフォーマンスのトレードオフを実現する。
  論文  参考訳（メタデータ） (2022-11-08T09:58:36Z)
• Tiny Machine Learning for Concept Drift [8.452237741722726]
  本稿では,ディープラーニング特徴抽出器とk-アネレスト近傍に基づくTML-CD(Tiny Machine Learning for Concept Drift)ソリューションを提案する。 適応モジュールは、TML-CDの知識ベースを継続的に更新し、データ生成プロセスに影響を与える概念ドリフトに対処する。 3つの市販マイクロコントローラユニットへのTML-CDの移植は、現実世界の広範システムで提案されていることの実現可能性を示している。
  論文  参考訳（メタデータ） (2021-07-30T17:02:04Z)
• Fast-Convergent Federated Learning [82.32029953209542]
  フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。 本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。