論文の概要: Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs

• arxiv url: http://arxiv.org/abs/2610.18412v1
• Date: Tue, 13 Oct 2026 13:52:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.623608
• Title: Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs
• Title（参考訳）: すべてのドリフトはメカニズム:LSMにおけるプロンプト適応の追跡
• Abstract要約: 本研究では,個別のプロンプト最適化,プロンプトチューニング,プレフィックスチューニングが,高密度言語モデルと混合言語モデルの処理をどう変えるかを検討する。 分析の結果,適応位置はタスク情報がどのように出力に伝達されるかを予測する。
• 参考スコア（独自算出の注目度）: 64.58179426472948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt-based adaptation offers several ways to specialize a frozen language model, ranging from natural-language prompt optimization to learned continuous prompts. These methods are usually compared through downstream performance, although similar outputs need not arise from similar internal computations. We study how discrete prompt optimization, prompt tuning, and prefix tuning alter the processing of dense and mixture-of-experts language models. Our analysis shows that the location of the adaptation predicts how task information is carried to the output: optimized text primarily changes response construction, input-level prompts write their influence into content representations, and layer-wise prefixes maintain direct control through attention. In MoE models, these differences further induce distinct expert-routing patterns. At the same time, common representation-level measurements respond strongly to generic context changes and do not reliably distinguish useful adaptations from matched placebos. We argue that understanding prompt adaptation requires separating representation drift from the part of that drift that is aligned with, and causally used by, the model's task computation. This perspective provides practical guidance for selecting, evaluating, and interpreting prompt adaptation methods.
• Abstract（参考訳）: Promptベースの適応は、自然言語のプロンプト最適化から学習された連続的なプロンプトまで、凍結した言語モデルを専門化するいくつかの方法を提供する。 これらの手法は通常、下流のパフォーマンスで比較されるが、同様の出力は同様の内部計算から生じる必要はない。 本研究では,個別のプロンプト最適化,プロンプトチューニング,プレフィックスチューニングが,厳密な言語モデルと専門知識の混在する言語モデルの処理をどう変えるかを検討する。 最適化されたテキストは、主に応答構成を変更し、入力レベルのプロンプトは、コンテンツ表現への影響を書き、レイヤーワイドプレフィックスは、注意を通して直接制御する。 MoEモデルでは、これらの違いは、専門家の引き抜きパターンをさらに引き起こす。 同時に、共通表現レベルの測定は、一般的な文脈変化に強く反応し、マッチしたプラセボから有用な適応を確実に区別しない。 即時適応には、モデルのタスク計算と一致し、因果的に使用されるドリフトの一部から表現ドリフトを分離する必要があると論じる。 この視点は、迅速な適応法を選択し、評価し、解釈するための実践的なガイダンスを提供する。

関連論文リスト

• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• Understanding Prompt Tuning and In-Context Learning via Meta-Learning [21.544121663215904]
  本稿では,ベイズ的視点から最適なプロンプトの理解について論じる。 メタ学習ニューラルネットワークが事前学習分布に対してベイズ予測器としてどのように振る舞うかを示す。 また、トークンアルファベット以外の実数値ベクトル列であるソフトプレフィックスが、訓練されたネットワークや訓練されていないネットワークに対して非常に効果的なプロンプトをもたらすことも確認した。
  論文  参考訳（メタデータ） (2025-05-22T17:58:53Z)
• Demystifying optimized prompts in language models [2.2673740207821647]
  本稿では,最適化プロンプトの構成と,最適化プロンプトからLMが解析・構築するメカニズムについて検討する。 最適化されたプロンプトは主に、トレーニングデータでより稀な句読点と名詞トークンで構成されていることがわかった。
  論文  参考訳（メタデータ） (2025-05-04T22:04:14Z)
• Hard Prompts Made Interpretable: Sparse Entropy Regularization for Prompt Tuning with RL [29.01858866450715]
  ソフトQ-ラーニングを利用した最適なプロンプトを見つけることを目的としたRLPromptを提案する。 結果は有望な結果を示す一方で,プロンプトが不自然に現れることがしばしばあり,その解釈可能性を妨げることが確認されている。 この制限をスパルス・ツァリスエントロピー正規化(英語版)を用いて解決する。
  論文  参考訳（メタデータ） (2024-07-20T03:10:19Z)
• RESTORE: Towards Feature Shift for Vision-Language Prompt Learning [33.13407089704543]
  ここでは,CLIPの1つの分岐のみに沿った即時チューニングが,誤調整の発生の原因であることを示す。 学習可能なパラメータをさまざまなモダリティで適切に正規化することなく、迅速な学習は元の事前学習制約に違反する。 クロスモーダルな一貫性に明示的な制約を課すマルチモーダルなプロンプト学習手法であるRESTOREを提案する。
  論文  参考訳（メタデータ） (2024-03-10T08:52:48Z)
• Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models [88.47454470043552]
  我々は、動的評価(動的評価)としても知られる、テスト時の言語モデルのパラメータをオンラインで微調整する問題を考察する。 オンライン適応はパラメータを時間的に変化する状態に変換し、メモリを重み付けしたコンテキスト長拡張の形式を提供する。
  論文  参考訳（メタデータ） (2024-03-03T14:03:48Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Bayesian Prompt Learning for Image-Language Model Generalization [64.50204877434878]
  我々はベイズ法の正規化能力を用いて、変分推論問題としてプロンプト学習をフレーム化する。 提案手法は,プロンプト空間を正規化し,目に見えないプロンプトへの過剰適合を低減し,目に見えないプロンプトのプロンプト一般化を改善する。 ベイジアン・プロンプト学習がプロンプト空間の適切なカバレッジを提供する15のベンチマークを実証的に示す。
  論文  参考訳（メタデータ） (2022-10-05T17:05:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。