論文の概要: Memory Injections: Correcting Multi-Hop Reasoning Failures during
Inference in Transformer-Based Language Models
- arxiv url: http://arxiv.org/abs/2309.05605v3
- Date: Wed, 28 Feb 2024 21:00:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:39:47.041422
- Title: Memory Injections: Correcting Multi-Hop Reasoning Failures during
Inference in Transformer-Based Language Models
- Title(参考訳): メモリインジェクション:トランスフォーマティブ言語モデルにおける推論中のマルチホップ推論障害の修正
- Authors: Mansi Sakarvadia, Aswathy Ajith, Arham Khan, Daniel Grzenda, Nathaniel
Hudson, Andr\'e Bauer, Kyle Chard, Ian Foster
- Abstract要約: そこで本研究では,アテンションヘッドにターゲットメモリを注入することで,マルチホップ推論失敗をピンポイントし,修正する手法を提案する。
キーアテンション層への単純で効率的で目標とするメモリインジェクションは、マルチホップタスクにおいて、所望の次のトークンの確率を最大424%向上させることができることを示す。
- 参考スコア(独自算出の注目度): 4.343604069244352
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Answering multi-hop reasoning questions requires retrieving and synthesizing
information from diverse sources. Large Language Models (LLMs) struggle to
perform such reasoning consistently. Here we propose an approach to pinpoint
and rectify multi-hop reasoning failures through targeted memory injections on
LLM attention heads. First, we analyze the per-layer activations of GPT-2
models in response to single and multi-hop prompts. We then propose a mechanism
that allows users to inject pertinent prompt-specific information, which we
refer to as "memories," at critical LLM locations during inference. By thus
enabling the LLM to incorporate additional relevant information during
inference, we enhance the quality of multi-hop prompt completions. We show
empirically that a simple, efficient, and targeted memory injection into a key
attention layer can often increase the probability of the desired next token in
multi-hop tasks, by up to 424%.
- Abstract(参考訳): マルチホップ推論に答えるには、様々な情報源からの情報を検索し、合成する必要がある。
大規模言語モデル(LLM)はそのような推論を一貫して行うのに苦労する。
本稿では,LLMアテンションヘッド上のターゲットメモリ注入によるマルチホップ推論障害をピンポイントし,修正する手法を提案する。
まず,シングルホッププロンプトとマルチホッププロンプトに応答して,GPT-2モデルの層間アクティベーションを分析する。
次に,提案するメカニズムにより,ユーザが推論中に重要なLCM箇所で,関連するプロンプト固有情報を「記憶」として注入する機構を提案する。
これにより、LLMは推論中に追加の関連情報を組み込めるようになり、マルチホッププロンプトの完成度が向上する。
キーアテンション層への単純で効率的で目標とするメモリインジェクションは、マルチホップタスクにおいて、所望の次のトークンの確率を最大424%向上させることができることを示す。
関連論文リスト
- Prompt Highlighter: Interactive Control for Multi-Modal LLMs [54.53324095171722]
本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。
本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。
推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
論文 参考訳(メタデータ) (2023-12-07T13:53:29Z) - Uncertainty Guided Global Memory Improves Multi-Hop Question Answering [3.7013865226473848]
本稿では,まず文書全体からメモリに関連情報を収集し,それをローカルコンテキストと組み合わせてタスクを解く2段階の手法を提案する。
実験結果から, メモリ拡張入力を用いた事前学習モデルの微調整により, モデルの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2023-11-29T23:45:57Z) - Self-prompted Chain-of-Thought on Large Language Models for Open-domain
Multi-hop Reasoning [70.74928578278957]
オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。
大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。
高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
論文 参考訳(メタデータ) (2023-10-20T14:51:10Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳(メタデータ) (2023-10-05T00:04:12Z) - Triggering Multi-Hop Reasoning for Question Answering in Language Models
using Soft Prompts and Random Walks [1.5254598796939924]
構造化知識グラフ上のランダムウォークを頼りにすることで,この制限を改善する手法を提案する。
具体的には、ソフトプロンプトを使用して、複数のホップ質問をランダムなウォークパスにマッピングすることで、LMのコード化された知識をチェーン化する。
2 つの T5 LM にメソッドを適用することで、2 ホップ推論を必要とする問題に答える上で、標準チューニングアプローチよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2023-06-06T20:45:18Z) - Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。
本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。
学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
論文 参考訳(メタデータ) (2022-12-19T14:48:08Z) - Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question
Answering [71.49131159045811]
マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。
既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。
そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-22T13:24:25Z) - Few-Shot Stance Detection via Target-Aware Prompt Distillation [48.40269795901453]
本論文は,知識ベースや少人数の学習者を対象とした事前学習型言語モデル(PLM)の可能性に着想を得たものである。
PLMは、ターゲットに対して重要なコンテキスト情報を提供し、プロンプトを介して数発の学習を可能にする。
姿勢検出タスクにおいて,対象が重要な役割を担っていることを考慮し,目標認識プロンプトを設計し,新しい言語化手法を提案する。
論文 参考訳(メタデータ) (2022-06-27T12:04:14Z) - KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive
Question Answering [28.18555591429343]
我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。
PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。
提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
論文 参考訳(メタデータ) (2022-05-06T08:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。