論文の概要: Model Tells Itself Where to Attend: Faithfulness Meets Automatic Attention Steering

• arxiv url: http://arxiv.org/abs/2409.10790v1
• Date: Mon, 16 Sep 2024 23:52:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 18:20:31.860238
• Title: Model Tells Itself Where to Attend: Faithfulness Meets Automatic Attention Steering
• Title（参考訳）: モデルが注意すべき場所を語る:Fithfulnessが自動アテンションステアリングと出会う
• Authors: Qingru Zhang, Xiaodong Yu, Chandan Singh, Xiaodong Liu, Liyuan Liu, Jianfeng Gao, Tuo Zhao, Dan Roth, Hao Cheng,
• Abstract要約: 大規模言語モデル(LLM)は、様々な現実世界のタスクで顕著なパフォーマンスを示している。 彼らはしばしば、入力コンテキストを完全に理解し、効果的に利用するのに苦労し、不信または幻覚的な反応をもたらす。 本稿では,重要な文脈情報を自動的に識別し,LLMの注意点を制御して強調する手法であるAutoPASTAを提案する。
• 参考スコア（独自算出の注目度）: 108.2131720470005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable performance across various real-world tasks. However, they often struggle to fully comprehend and effectively utilize their input contexts, resulting in responses that are unfaithful or hallucinated. This difficulty increases for contexts that are long or contain distracting information, which can divert LLMs from fully capturing essential evidence. To address this issue, many works use prompting to help LLMs utilize contextual information more faithfully. For instance, iterative prompting highlights key information in two steps that first ask the LLM to identify important pieces of context and then derive answers accordingly. However, prompting methods are constrained to highlighting key information implicitly in token space, which is often insufficient to fully steer the model's attention. To improve model faithfulness more reliably, we propose AutoPASTA, a method that automatically identifies key contextual information and explicitly highlights it by steering an LLM's attention scores. Like prompting, AutoPASTA is applied at inference time and does not require changing any model parameters. Our experiments on open-book QA demonstrate that AutoPASTA effectively enables models to grasp essential contextual information, leading to substantially improved model faithfulness and performance, e.g., an average improvement of 7.95% for LLAMA3-70B-Instruct. Code will be publicly available at https://github.com/QingruZhang/AutoPASTA .
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な現実世界のタスクで顕著なパフォーマンスを示している。 しかし、彼らはしばしば、入力コンテキストを完全に理解し、効果的に活用することに苦慮し、不信または幻覚的な反応をもたらす。 この困難さは、長いか、邪魔な情報を含むコンテキストに対して増大し、LCMが完全に重要な証拠をつかむのを防ぐことができる。 この問題に対処するために、多くの研究は、LLMが文脈情報をより忠実に利用するのを助けるためにプロンプトを使用する。 例えば、反復的なプロンプトは、2つのステップで重要な情報をハイライトする。 しかし、プロンプト法はトークン空間において暗黙的に鍵情報を強調することに制約されるため、しばしばモデルの注意を十分に引くには不十分である。 モデルの忠実度をより確実に向上するために,重要な文脈情報を自動的に識別し,LLMの注意点を操縦することで強調する手法であるAutoPASTAを提案する。 プロンプトと同様に、AutoPASTAは推論時に適用され、モデルパラメータを変更する必要はない。 オープンブックQAにおける実験により,AutoPASTAは,本質的な文脈情報を効果的に把握し,モデル忠実度と性能を著しく向上させ,LLAMA3-70B-インストラクトの平均7.95%の改善を実現した。 コードはhttps://github.com/QingruZhang/AutoPASTAで公開される。

関連論文リスト

• EZ-HOI: VLM Adaptation via Guided Prompt Learning for Zero-Shot HOI Detection [21.091101582856183]
  本稿では,効率的なゼロショットHOI検出(EZ-HOI)のための新しい学習フレームワークを提案する。 まず、学習可能なプロンプトに対してLarge Language Model(LLM)とVLMガイダンスを導入し、詳細なHOI記述と視覚的セマンティクスを統合して、VLMをHOIタスクに適用する。 我々は,既存の手法と比較して,トレーニング可能なパラメータの10.35%から33.95%しか持たない,さまざまなゼロショット設定における最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2024-10-31T13:06:29Z)
• Understanding Information Storage and Transfer in Multi-modal Large Language Models [51.20840103605018]
  本研究では,マルチモーダル大規模言語モデルを用いて,現実的な視覚的質問応答タスクにおいて情報処理を行う方法について検討する。 鍵となる発見は、これらのMLLMが情報記憶のためにずっと古いレイヤの自己注意ブロックに依存していることを示している。 モデル編集アルゴリズムであるMultEditを導入し、誤りを訂正し、MLLMに新しいロングテール情報を挿入する。
  論文  参考訳（メタデータ） (2024-06-06T16:35:36Z)
• LLM In-Context Recall is Prompt Dependent [0.0]
  これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。 本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-13T01:13:59Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• Adapting LLMs for Efficient, Personalized Information Retrieval: Methods and Implications [0.7832189413179361]
  LLM(Large Language Models)は、人間に似たテキストの理解と生成に優れた言語モデルである。 本稿では,言語モデル(LLM)と情報検索(IR)システムの統合戦略について検討する。
  論文  参考訳（メタデータ） (2023-11-21T02:01:01Z)
• Tell Your Model Where to Attend: Post-hoc Attention Steering for LLMs [80.48606583629123]
  PASTAは、大きな言語モデルでユーザーが指定した強調マークでテキストを読むことができる方法である。 LLMのユーザ命令に従う能力を大幅に強化したり、ユーザ入力から新たな知識を統合することができる。
  論文  参考訳（メタデータ） (2023-11-03T22:56:43Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。