論文の概要: Spotlight Your Instructions: Instruction-following with Dynamic Attention Steering

• arxiv url: http://arxiv.org/abs/2505.12025v1
• Date: Sat, 17 May 2025 14:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.995844
• Title: Spotlight Your Instructions: Instruction-following with Dynamic Attention Steering
• Title（参考訳）: Spotlight your Instructions: Instruction-following with Dynamic Attention Steering
• Authors: Praveen Venkateswaran, Danish Contractor,
• Abstract要約: そこで本研究では,モデルに注意を向けることで,ユーザのプロンプトの特定の部分を強調できる推論時手法を提案する。 従来のアプローチとは異なり、ユーザ指定部品に付与されるモデル注意率を動的に更新する。
• 参考スコア（独自算出の注目度）: 5.160554120418462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many real-world applications, users rely on natural language instructions to guide large language models (LLMs) across a wide range of tasks. These instructions are often complex, diverse, and subject to frequent change. However, LLMs do not always attend to these instructions reliably, and users lack simple mechanisms to emphasize their importance beyond modifying prompt wording or structure. To address this, we present an inference-time method that enables users to emphasize specific parts of their prompt by steering the model's attention toward them, aligning the model's perceived importance of different prompt tokens with user intent. Unlike prior approaches that are limited to static instructions, require significant offline profiling, or rely on fixed biases, we dynamically update the proportion of model attention given to the user-specified parts--ensuring improved instruction following without performance degradation. We demonstrate that our approach improves instruction following across a variety of tasks involving multiple instructions and generalizes across models of varying scales.
• Abstract（参考訳）: 多くの現実世界のアプリケーションでは、ユーザーは幅広いタスクにわたって大きな言語モデル(LLM)を誘導する自然言語命令に依存している。 これらの命令は複雑で多様であり、頻繁に変更される。 しかし、LSMは必ずしもこれらの命令に確実に従わないため、ユーザは、素早い単語や構造を変更すること以上に、その重要性を強調する単純なメカニズムを欠いている。 そこで本研究では,モデルが認識する異なるプロンプトトークンの重要性とユーザ意図とを一致させることで,ユーザがプロンプトの特定の部分を強調することができる推論時手法を提案する。 静的な命令に限られる従来のアプローチと異なり、オフラインのプロファイリングや一定のバイアスを必要とする手法とは異なり、ユーザ指定部品に与えられるモデル注意率を動的に更新する。 提案手法は,複数の命令を含むタスクにまたがる命令を改良し,様々なスケールのモデルにまたがって一般化することを示す。

関連論文リスト

• The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models [48.455388608863785]
  本稿では,複数の命令を逐次的に追従するモデルの性能を評価するためのベンチマークを提案する。 我々のベンチマークは,4つのタスク(テキスト修正,質問応答,数学,セキュリティルール)を用いて,指示に従うことを評価する。 より最近のモデルでは、SIFoタスクにおいて、より古いモデルやより小さなモデルよりも大幅に優れており、ベンチマークの有効性が検証されている。
  論文  参考訳（メタデータ） (2024-06-28T15:34:26Z)
• Contrastive Instruction Tuning [61.97704869248903]
  意味論的に等価な命令-インスタンスペア間の類似性を最大化するために、コントラスト命令チューニングを提案する。 PromptBenchベンチマークの実験によると、CoINはLLMの頑健さを一貫して改善し、文字、単語、文、意味のレベルを平均して2.5%の精度で変化させる。
  論文  参考訳（メタデータ） (2024-02-17T00:09:32Z)
• Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs [80.48606583629123]
  PASTAは、大きな言語モデルでユーザーが指定した強調マークでテキストを読むことができる方法である。 LLMのユーザ命令に従う能力を大幅に強化したり、ユーザ入力から新たな知識を統合することができる。
  論文  参考訳（メタデータ） (2023-11-03T22:56:43Z)
• Instructive Decoding: Instruction-Tuned Large Language Models are Self-Refiner from Noisy Instructions [26.192531184689763]
  本稿では,インストラクティブ・デコーディング(Instructive Decoding, ID)を提案する。 IDは、元の命令の操作されたバージョンから生成された予測を利用して、逆方向の予測のためにロジットを調整する。 ランダムな単語を介して意味的ノイズを挿入するものから、逸脱した応答を誘発する「オポジット」のような他のものまで、このようなノイズの多い命令のスペクトルにわたって実験を行う。
  論文  参考訳（メタデータ） (2023-11-01T02:31:35Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
  新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。 本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。 本手法は命令調整モデルのロバスト性を常に改善することを示す。
  論文  参考訳（メタデータ） (2023-06-20T03:48:51Z)
• Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting [55.15697111170836]
  本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。 広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。 異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-23T06:38:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。