論文の概要: Implicit Federated In-context Learning For Task-Specific LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2511.06757v1
• Date: Mon, 10 Nov 2025 06:34:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.113493
• Title: Implicit Federated In-context Learning For Task-Specific LLM Fine-Tuning
• Title（参考訳）: タスク特化LDMファインチューニングのためのインコンテクスト・インコンテクスト・ラーニング
• Authors: Dongcheng Li, Junhan Chen, Aoxiang Zhou, Chunpei Li, Youquan Xian, Peng Liu, Xianxian Li,
• Abstract要約: Inlicit Federated In-Context Learning (IFed-ICL) フレームワークを提案する。 IFED-ICLは、新しい分散協調パラダイムを確立するために、フェデレートラーニングからインスピレーションを得ている。 従来の手法と比較して、IFed-ICLは従来の微調整法で必要とされる広範囲なパラメータ更新を避ける。
• 参考スコア（独自算出の注目度）: 10.042856500868805
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large language models continue to develop and expand, the extensive public data they rely on faces the risk of depletion. Consequently, leveraging private data within organizations to enhance the performance of large models has emerged as a key challenge. The federated learning paradigm, combined with model fine-tuning techniques, effectively reduces the number of trainable parameters. However,the necessity to process high-dimensional feature spaces results in substantial overall computational overhead. To address this issue, we propose the Implicit Federated In-Context Learning (IFed-ICL) framework. IFed-ICL draws inspiration from federated learning to establish a novel distributed collaborative paradigm, by converting client local context examples into implicit vector representations, it enables distributed collaborative computation during the inference phase and injects model residual streams to enhance model performance. Experiments demonstrate that our proposed method achieves outstanding performance across multiple text classification tasks. Compared to traditional methods, IFed-ICL avoids the extensive parameter updates required by conventional fine-tuning methods while reducing data transmission and local computation at the client level in federated learning. This enables efficient distributed context learning using local private-domain data, significantly improving model performance on specific tasks.
• Abstract（参考訳）: 大きな言語モデルの開発と拡張が進むにつれ、彼らが依存する膨大な公開データが枯渇のリスクに直面している。 その結果,大規模モデルの性能向上に組織内のプライベートデータを活用することが,重要な課題となっている。 フェデレーション学習パラダイムとモデル微調整技術を組み合わせることで、トレーニング可能なパラメータの数を効果的に削減する。 しかし、高次元の特徴空間を処理する必要があるため、計算オーバーヘッドは大幅に増大する。 この問題に対処するため,Implicit Federated In-Context Learning (IFed-ICL) フレームワークを提案する。 IFed-ICLは、クライアントのローカルコンテキストを暗黙のベクトル表現に変換することによって、新しい分散協調パラダイムを確立するために、フェデレートラーニングからインスピレーションを得て、推論フェーズ中に分散協調計算を可能にし、モデル残差ストリームを注入してモデル性能を向上させる。 実験により,提案手法は複数のテキスト分類タスクにまたがって優れた性能を発揮することが示された。 従来の手法と比較して、IFed-ICLは、フェデレート学習におけるクライアントレベルでのデータ伝送と局所計算を削減しつつ、従来の微調整法で必要とされる広範なパラメータ更新を回避する。 これにより、ローカルなプライベートドメインデータを使用した効率的な分散コンテキスト学習が可能となり、特定のタスクにおけるモデルパフォーマンスが大幅に向上する。

関連論文リスト

• FedPURIN: Programmed Update and Reduced INformation for Sparse Personalized Federated Learning [25.55616766154517]
  プログラム更新と還元情報を用いたフェデレーション学習(FedPURIN)を提案する。 FedPURINは整数プログラミングの定式化を通じて送信する重要なパラメータを戦略的に識別する。 スパースアグリゲーション・スキームに統合され、有効性を保ちながら通信の大幅な削減を実現する。
  論文  参考訳（メタデータ） (2025-10-17T03:54:43Z)
• Large Language Models as Attribution Regularizers for Efficient Model Training [0.0]
  大規模言語モデル(LLM)は、様々な領域で顕著なパフォーマンスを示している。 我々は,LLM生成したグローバルタスク特徴属性を,より小さなネットワークのトレーニングプロセスに組み込む方法を提案する。 我々のアプローチは、数ショットの学習シナリオにおいて優れたパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2025-02-27T16:55:18Z)
• MIRA: A Method of Federated MultI-Task Learning for LaRge LAnguage Models [29.655807841018497]
  大規模言語モデル(LLM)の微調整手法を提案する。 提案手法は,各クライアントモデルの構造を利用して,他のクライアントのタスクやデータ分散を考慮した学習手法を実現する。 実験結果は,異なるデータセットとモデルを用いて,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-20T22:24:40Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。