論文の概要: Spotlight Your Instructions: Instruction-following with Dynamic Attention Steering

• arxiv url: http://arxiv.org/abs/2505.12025v1
• Date: Sat, 17 May 2025 14:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.995844
• Title: Spotlight Your Instructions: Instruction-following with Dynamic Attention Steering
• Title（参考訳）: Spotlight your Instructions: Instruction-following with Dynamic Attention Steering
• Authors: Praveen Venkateswaran, Danish Contractor,
• Abstract要約: そこで本研究では,モデルに注意を向けることで,ユーザのプロンプトの特定の部分を強調できる推論時手法を提案する。 従来のアプローチとは異なり、ユーザ指定部品に付与されるモデル注意率を動的に更新する。
• 参考スコア（独自算出の注目度）: 5.160554120418462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many real-world applications, users rely on natural language instructions to guide large language models (LLMs) across a wide range of tasks. These instructions are often complex, diverse, and subject to frequent change. However, LLMs do not always attend to these instructions reliably, and users lack simple mechanisms to emphasize their importance beyond modifying prompt wording or structure. To address this, we present an inference-time method that enables users to emphasize specific parts of their prompt by steering the model's attention toward them, aligning the model's perceived importance of different prompt tokens with user intent. Unlike prior approaches that are limited to static instructions, require significant offline profiling, or rely on fixed biases, we dynamically update the proportion of model attention given to the user-specified parts--ensuring improved instruction following without performance degradation. We demonstrate that our approach improves instruction following across a variety of tasks involving multiple instructions and generalizes across models of varying scales.
• Abstract（参考訳）: 多くの現実世界のアプリケーションでは、ユーザーは幅広いタスクにわたって大きな言語モデル(LLM)を誘導する自然言語命令に依存している。 これらの命令は複雑で多様であり、頻繁に変更される。 しかし、LSMは必ずしもこれらの命令に確実に従わないため、ユーザは、素早い単語や構造を変更すること以上に、その重要性を強調する単純なメカニズムを欠いている。 そこで本研究では,モデルが認識する異なるプロンプトトークンの重要性とユーザ意図とを一致させることで,ユーザがプロンプトの特定の部分を強調することができる推論時手法を提案する。 静的な命令に限られる従来のアプローチと異なり、オフラインのプロファイリングや一定のバイアスを必要とする手法とは異なり、ユーザ指定部品に与えられるモデル注意率を動的に更新する。 提案手法は,複数の命令を含むタスクにまたがる命令を改良し,様々なスケールのモデルにまたがって一般化することを示す。

関連論文リスト

• Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs [80.48606583629123]
  PASTAは、大きな言語モデルでユーザーが指定した強調マークでテキストを読むことができる方法である。 LLMのユーザ命令に従う能力を大幅に強化したり、ユーザ入力から新たな知識を統合することができる。
  論文  参考訳（メタデータ） (2023-11-03T22:56:43Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Evaluating the Zero-shot Robustness of Instruction-tuned Language Models [23.488398944358643]
  新規な(観測されていない)が適切な命令表現を用いることで、モデル性能は一貫して低下することがわかった。 本稿では,ソフトプロンプトの埋め込みパラメータを導入することで,この問題を軽減するための簡単な手法を提案する。 本手法は命令調整モデルのロバスト性を常に改善することを示す。
  論文  参考訳（メタデータ） (2023-06-20T03:48:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。