論文の概要: Do different prompting methods yield a common task representation in language models?

• arxiv url: http://arxiv.org/abs/2505.12075v2
• Date: Wed, 21 May 2025 22:58:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 12:25:14.992783
• Title: Do different prompting methods yield a common task representation in language models?
• Title（参考訳）: 異なるプロンプト法は言語モデルで共通のタスク表現をもたらすか?
• Authors: Guy Davidson, Todd M. Gureckis, Brenden M. Lake, Adina Williams,
• Abstract要約: デモと指示は、言語モデルにコンテキスト内学習タスクの実行を促す2つの主要なアプローチである。 テキスト機能ベクトル (FVs) を用いてこれを解析し, 少数ショットICLタスク表現を抽出する機構として最近提案されている。 実演型と命令型関数ベクトルが異なるモデル成分を利用するという証拠が得られ,タスク性能への貢献を解離するためのいくつかの制御が提供される。
• 参考スコア（独自算出の注目度）: 22.71314612690917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Demonstrations and instructions are two primary approaches for prompting language models to perform in-context learning (ICL) tasks. Do identical tasks elicited in different ways result in similar representations of the task? An improved understanding of task representation mechanisms would offer interpretability insights and may aid in steering models. We study this through \textit{function vectors} (FVs), recently proposed as a mechanism to extract few-shot ICL task representations. We generalize FVs to alternative task presentations, focusing on short textual instruction prompts, and successfully extract instruction function vectors that promote zero-shot task accuracy. We find evidence that demonstration- and instruction-based function vectors leverage different model components, and offer several controls to dissociate their contributions to task performance. Our results suggest that different task promptings forms do not induce a common task representation through FVs but elicit different, partly overlapping mechanisms. Our findings offer principled support to the practice of combining instructions and task demonstrations, imply challenges in universally monitoring task inference across presentation forms, and encourage further examinations of LLM task inference mechanisms.
• Abstract（参考訳）: デモと命令は、言語モデルにICL(In-context Learning)タスクの実行を促す2つの主要なアプローチである。 同じタスクを異なる方法で引き出すと、タスクの類似した表現が生まれるのか? タスク表現機構の理解が向上すれば、解釈可能性に関する洞察が得られ、ステアリングモデルに役立つ可能性がある。 本研究は,最近提案された小ショットICLタスク表現を抽出する機構として,textit{function vectors} (FVs) を用いて行う。 我々は、FVを代替タスクのプレゼンテーションに一般化し、短いテキスト命令プロンプトに焦点をあて、ゼロショットタスク精度を促進する命令関数ベクトルをうまく抽出する。 実演型と命令型関数ベクトルが異なるモデル成分を利用するという証拠が得られ,タスク性能への貢献を解離するためのいくつかの制御が提供される。 以上の結果から,異なるタスクプロンプト形式がFVを通して共通タスク表現を誘導するのではなく,重複する機構が引き起こされることが示唆された。 本研究は,タスク・インジェクションと指示とタスク・インジェクションを組み合わせる実践に対する原則的支援,プレゼンテーション・フォーム間のタスク・インジェクションを普遍的に監視する上での課題,LLMタスク・インジェクション・メカニズムのさらなる検証を奨励するものである。

関連論文リスト

• The Geometry of Prompting: Unveiling Distinct Mechanisms of Task Adaptation in Language Models [40.128112851978116]
  本研究では,異なるプロンプト法が言語モデルにおける表現の幾何学に与える影響について検討する。 本分析では,文脈内学習における入力分布サンプルとラベル意味論の重要性を強調した。 我々の研究は、大規模言語モデルの理論的理解に寄与し、より効果的で表現を意識した促進戦略の開発の基礎となる。
  論文  参考訳（メタデータ） (2025-02-11T23:09:50Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Vision-Language Models Create Cross-Modal Task Representations [58.19152818504624]
  視覚言語モデル(VLM)は,概念的に等価な入力を共有タスクベクトルに整合させることができる。 このアライメントを,タスクやモデルアーキテクチャのクロスモーダル転送を通じて測定する。 タスクベクトルはベース言語モデルから微調整された視覚言語モデルに変換可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T17:59:45Z)
• TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning [37.09785060896196]
  タスク定義を明示的に抽出する textbfTEGEE (Task Definition Guided Expert Ensembling) を提案する。 私たちのフレームワークは2つの3Bモデルアプローチを採用しています。 実験により, TEGEEはより大きなLLaMA2-13Bモデルと相容れない性能を示した。
  論文  参考訳（メタデータ） (2024-03-07T05:26:41Z)
• Identifying and Analyzing Performance-Critical Tokens in Large Language Models [52.404072802235234]
  我々は大規模な言語モデルがいかに実演からタスクを実行するかを研究する。 私たちの仕事は、大規模な言語モデルがデモからタスクを実行するための学習方法に光を当て、さまざまな種類のトークンが大きな言語モデルで果たす役割についての理解を深めます。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• Multitask Multimodal Prompted Training for Interactive Embodied Task Completion [48.69347134411864]
  Embodied MultiModal Agent (EMMA) はエンコーダとデコーダの統一モデルである。 すべてのタスクをテキスト生成として統一することで、EMMAはタスク間の転送を容易にするアクション言語を学ぶ。
  論文  参考訳（メタデータ） (2023-11-07T15:27:52Z)
• UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions [64.50935101415776]
  我々は,様々な音声言語理解(SLU)タスクを共同で行う単一モデルを構築した。 我々は17のデータセットと9の言語にまたがる12の音声分類とシーケンス生成タスクタイプに対して,1つのマルチタスク学習モデル"UniverSLU"の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-04T17:10:23Z)
• Robustness of Learning from Task Instructions [15.462970803323563]
  従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。 新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。 本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
  論文  参考訳（メタデータ） (2022-12-07T17:54:59Z)
• Compressed Hierarchical Representations for Multi-Task Learning and Task Clustering [5.878411350387833]
  階層的表現学習問題として,同質なマルチタスク学習を考察する。 タスク非依存表現とタスク固有の潜在表現の間には,付加的な独立ノイズモデルが仮定される。 これらの結果から,MTLベンチマークの競合性能が得られた。
  論文  参考訳（メタデータ） (2022-05-31T15:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。