論文の概要: Efficient Task Adaptation in Large Language Models: A Survey of Weight-Based, Prompt-Based, and Embedding-Based Adaptations

• arxiv url: http://arxiv.org/abs/2610.00928v1
• Date: Thu, 01 Oct 2026 02:05:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.84729
• Title: Efficient Task Adaptation in Large Language Models: A Survey of Weight-Based, Prompt-Based, and Embedding-Based Adaptations
• Title（参考訳）: 大規模言語モデルにおける効率的なタスク適応:重量ベース,プロンプトベース,埋め込みベース適応に関する調査
• Abstract要約: 大規模な言語モデルは、さまざまな下流タスクにまたがってデプロイされるようになっている。 タスク適応手法が提案され、パラメータ効率の良い微調整、コンテキスト内学習、埋め込み-注入アプローチが提案されている。 本調査では,タスク情報のエンコード方法と方法によって,タスク適応手法を分類する統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 35.54185309170107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models are increasingly deployed across diverse downstream tasks, efficient task adaptation has emerged as a central challenge. In response, a wide range of task adaptation methods have been proposed, spanning parameter-efficient fine-tuning, in-context learning, and embedding-injection approaches. However, these lines of work have largely evolved within individual paradigms, leaving their cross-paradigm relationships and trade-offs underexplored, especially for recently emerging embedding-based adaptations. This survey presents a unified framework that categorizes task adaptation methods by where and how task information is encoded: model weights, input prompts, or injected task embeddings. We provide a comprehensive taxonomy that integrates these paradigms, analyze their key strengths and limitations to explain how different adaptation paradigms have evolved, clarify relationships across paradigms, and highlight open problems for future research.
• Abstract（参考訳）: さまざまな下流タスクに大規模な言語モデルが展開されるにつれて、効率的なタスク適応が中心的な課題として現れている。 これに対して,パラメータ効率のよい微調整,コンテキスト内学習,埋め込み・注入アプローチなど,幅広いタスク適応手法が提案されている。 しかしながら、これらの研究の行は個々のパラダイムの中で大きく進化し、特に最近出現する埋め込みベースの適応において、それらのパラダイム間の関係やトレードオフが未解決のまま残されている。 本調査では,タスク情報のエンコード方法(モデルウェイト,入力プロンプト,あるいはインジェクトされたタスク埋め込み)によってタスク適応手法を分類する統合フレームワークを提案する。 我々は、これらのパラダイムを統合し、それらの重要な強みと限界を分析し、異なる適応パラダイムがどのように進化したかを説明し、パラダイム間の関係を明確にし、将来の研究のためにオープンな問題を強調する包括的な分類法を提供する。

関連論文リスト

• Iterative Amortized Inference: Unifying In-Context Learning and Learned Optimizers [22.72866404096086]
  償却学習は、新しい問題への迅速な一般化を可能にするために、タスク間で共有される計算や帰納的バイアスを再利用する考え方である。 現在のアプローチでは、推論でタスクデータを処理する能力が制限されることが多いため、大規模なデータセットへのスケールアップに苦労している。 ミニバッチよりも解を段階的に洗練するモデルである反復的償却推論を提案する。
  論文  参考訳（メタデータ） (2025-10-13T14:40:47Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Large Language Model as Meta-Surrogate for Data-Driven Many-Task Optimization: A Proof-of-Principle Study [11.452011929848844]
  本研究では,マルチタスク最適化を支援するメタサロゲートフレームワークを提案する。 問題群に適合するメタデータを持つ普遍モデルを定義することにより、多タスクフィットネス予測のための統一的なフレームワークを定式化する。 我々のフレームワークは、双対レベルの知識伝達 -- 代理レベルと個別レベルの両方 -- をサポートし、最適化の効率性と堅牢性を高めます。
  論文  参考訳（メタデータ） (2025-03-11T11:13:11Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Model Predictive Task Sampling for Efficient and Robust Adaptation [57.414812940406996]
  本稿では,タスク空間と適応リスク分布をブリッジするフレームワークであるモデル予測タスクサンプリング(MPTS)を紹介する。 MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。 MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
  論文  参考訳（メタデータ） (2025-01-19T13:14:53Z)
• Towards Few-Shot Adaptation of Foundation Models via Multitask Finetuning [20.727482935029375]
  多くのAI問題に対する強力なツールとして、ファンデーションモデルが登場した。 本稿では,マルチタスクファインタニング手法の理論的正当性について検討する。 本稿では,タスク選択アルゴリズムが関連する微調整タスクを積極的に選択することを確認し,対象タスクにおけるモデル性能の利点を提供する。
  論文  参考訳（メタデータ） (2024-02-22T23:29:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。