論文の概要: Shared Lexical Task Representations Explain Behavioral Variability In LLMs

• arxiv url: http://arxiv.org/abs/2604.22027v1
• Date: Thu, 23 Apr 2026 19:43:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.247895
• Title: Shared Lexical Task Representations Explain Behavioral Variability In LLMs
• Title（参考訳）: LLMにおける共有語彙的タスク表現による行動変数の明示
• Authors: Zhuonan Yang, Jacob Xiaochen Li, Francisco Piedrahita Velez, Eric Todd, David Bau, Michael L. Littman, Stephen H. Bach, Ellie Pavlick,
• Abstract要約: プロンプトの関数としての性能に大きな変化があるにもかかわらず、そのモデルはタスクの異なるプロンプト間で共通の基盤機構を担っている。 具体的には、文字通りタスクを記述したタスク固有のアテンションヘッドを特定し、これらのヘッドがプロンプトスタイルにまたがって共有され、その後の回答生成が引き起こされることを示す。
• 参考スコア（独自算出の注目度）: 35.89864679533707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the most common complaints about large language models (LLMs) is their prompt sensitivity -- that is, the fact that their ability to perform a task or provide a correct answer to a question can depend unpredictably on the way the question is posed. We investigate this variation by comparing two very different but commonly-used styles of prompting: instruction-based prompts, which describe the task in natural language, and example-based prompts, which provide in-context few-shot demonstration pairs to illustrate the task. We find that, despite large variation in performance as a function of the prompt, the model engages some common underlying mechanisms across different prompts of a task. Specifically, we identify task-specific attention heads whose outputs literally describe the task -- which we dub lexical task heads -- and show that these heads are shared across prompting styles and trigger subsequent answer production. We further find that behavioral variation between prompts can be explained by the degree to which these heads are activated, and that failures are at least sometimes due to competing task representations that dilute the signal of the target task. Our results together present an increasingly clear picture of how LLMs' internal representations can explain behavior that otherwise seems idiosyncratic to users and developers.
• Abstract（参考訳）: 大きな言語モデル(LLM)に関する最も一般的な不満の1つは、その迅速な感受性である。つまり、タスクを実行したり、質問に対する正しい回答を提供する能力は、質問の提示方法によって予測不能に依存できるという事実である。 本稿では、自然言語のタスクを記述した命令ベースのプロンプトと、そのタスクを記述したテキスト内数発のデモペアを提供する例ベースのプロンプトの2つを比較して、このバリエーションについて検討する。 プロンプトの関数としての性能に大きな変化があるにもかかわらず、モデルはタスクの異なるプロンプトにまたがるいくつかの共通基盤メカニズムに係わることがわかった。 具体的には、文字通りタスクを記述したタスク固有のアテンションヘッドを識別し、これらのヘッドがプロンプトスタイルで共有され、その後の回答生成が引き起こされることを示す。 さらに、これらのヘッドが起動される度合いによって、プロンプト間の動作の変動が説明でき、少なくとも、ターゲットタスクの信号を希釈する競合するタスク表現のため、障害が少なくとも時々発生することが分かる。 この結果から,LLMの内部表現がユーザや開発者には不合理な振る舞いを説明できることを示す。

関連論文リスト

• Do Prompts Reshape Representations? An Empirical Study of Prompting Effects on Embeddings [24.17559821473242]
  本研究では,プロンプトと内部表現の質の関係について検討する。 我々の発見は、より関連性の高いプロンプトが必ずしもより良い表現につながるという仮定に挑戦する。
  論文  参考訳（メタデータ） (2025-10-22T15:43:40Z)
• Do different prompting methods yield a common task representation in language models? [22.71314612690917]
  デモと指示は、言語モデルにコンテキスト内学習タスクの実行を促す2つの主要なアプローチである。 テキスト機能ベクトル (FVs) を用いてこれを解析し, 少数ショットICLタスク表現を抽出する機構として最近提案されている。 実演型と命令型関数ベクトルが異なるモデル成分を利用するという証拠が得られ,タスク性能への貢献を解離するためのいくつかの制御が提供される。
  論文  参考訳（メタデータ） (2025-05-17T16:28:33Z)
• Vision-Language Models Create Cross-Modal Task Representations [58.19152818504624]
  視覚言語モデル(VLM)は,概念的に等価な入力を共有タスクベクトルに整合させることができる。 このアライメントを,タスクやモデルアーキテクチャのクロスモーダル転送を通じて測定する。 タスクベクトルはベース言語モデルから微調整された視覚言語モデルに変換可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:59:45Z)
• An Incomplete Loop: Deductive, Inductive, and Abductive Learning in Large Language Models [99.31449616860291]
  現代の言語モデル(LM)は、異なる方法で新しいタスクを実行することを学べる。 次の命令では、ターゲットタスクは自然言語で明示的に記述され、少数ショットプロンプトでは、タスクは暗黙的に指定される。 命令推論では、LMはインコンテキストの例を示し、自然言語のタスク記述を生成するように促される。
  論文  参考訳（メタデータ） (2024-04-03T19:31:56Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Robustness of Learning from Task Instructions [15.462970803323563]
  従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。 新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。 本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
  論文  参考訳（メタデータ） (2022-12-07T17:54:59Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。