論文の概要: Do Prompts Reshape Representations? An Empirical Study of Prompting Effects on Embeddings

• arxiv url: http://arxiv.org/abs/2510.19694v1
• Date: Wed, 22 Oct 2025 15:43:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:16.117081
• Title: Do Prompts Reshape Representations? An Empirical Study of Prompting Effects on Embeddings
• Title（参考訳）: プロンプットは表現を形作るか? : エンベディングに対するプロンプティング効果の実証的研究
• Authors: Cesar Gonzalez-Gutierrez, Dirk Hovy,
• Abstract要約: 本研究では,プロンプトと内部表現の質の関係について検討する。 我々の発見は、より関連性の高いプロンプトが必ずしもより良い表現につながるという仮定に挑戦する。
• 参考スコア（独自算出の注目度）: 24.17559821473242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompting is a common approach for leveraging LMs in zero-shot settings. However, the underlying mechanisms that enable LMs to perform diverse tasks without task-specific supervision remain poorly understood. Studying the relationship between prompting and the quality of internal representations can shed light on how pre-trained embeddings may support in-context task solving. In this empirical study, we conduct a series of probing experiments on prompt embeddings, analyzing various combinations of prompt templates for zero-shot classification. Our findings show that while prompting affects the quality of representations, these changes do not consistently correlate with the relevance of the prompts to the target task. This result challenges the assumption that more relevant prompts necessarily lead to better representations. We further analyze potential factors that may contribute to this unexpected behavior.
• Abstract（参考訳）: プロンプティングはゼロショット設定でLMを利用する一般的なアプローチである。 しかし、LMがタスク固有の監督なしに多様なタスクを実行できるメカニズムは、まだよく理解されていない。 プロンプトと内部表現の質の関係を研究することは、事前学習された埋め込みがコンテキスト内タスク解決をどのようにサポートするかに光を当てることができる。 本研究では,ゼロショット分類のためのプロンプトテンプレートの様々な組み合わせを解析し,プロンプト埋め込みに関する一連の探索実験を行う。 その結果,プロンプトは表現の質に影響を及ぼすが,これらの変化は目標タスクに対するプロンプトの関連性に一貫して相関しないことがわかった。 この結果は、より関連するプロンプトが必ずしもより良い表現につながるという仮定に挑戦する。 この予期せぬ行動に寄与する可能性のある潜在的な要因をさらに分析する。

関連論文リスト

• Evaluating Generalization and Representation Stability in Small LMs via Prompting, Fine-Tuning and Out-of-Distribution Prompts [2.377892000761193]
  本稿では,小型言語モデルの2つの適応パラダイムに基づく一般化能力について検討する。 本研究は,小モデルが適応戦略の異なる知識を内在化し,一般化する過程において,重要な違いを呈するものである。
  論文  参考訳（メタデータ） (2025-06-16T01:44:26Z)
• IntCoOp: Interpretability-Aware Vision-Language Prompt Tuning [94.52149969720712]
  IntCoOpは、プロンプトチューニング中に属性レベルの帰納バイアスとクラス埋め込みを共同で調整することを学ぶ。 IntCoOpは10種類のデータセットの平均パフォーマンスを7.35%改善した。
  論文  参考訳（メタデータ） (2024-06-19T16:37:31Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Task Formulation Matters When Learning Continually: A Case Study in Visual Question Answering [58.82325933356066]
  継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。 本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
  論文  参考訳（メタデータ） (2022-09-30T19:12:58Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。