論文の概要: Memory Injections: Correcting Multi-Hop Reasoning Failures during Inference in Transformer-Based Language Models

• arxiv url: http://arxiv.org/abs/2309.05605v1
• Date: Mon, 11 Sep 2023 16:39:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 11:37:08.026503
• Title: Memory Injections: Correcting Multi-Hop Reasoning Failures during Inference in Transformer-Based Language Models
• Title（参考訳）: メモリインジェクション:トランスフォーマティブ言語モデルにおける推論中のマルチホップ推論障害の修正
• Authors: Mansi Sakarvadia, Aswathy Ajith, Arham Khan, Daniel Grzenda, Nathaniel Hudson, Andr\'e Bauer, Kyle Chard, Ian Foster
• Abstract要約: そこで本研究では,アテンションヘッドにターゲットメモリを注入することで,マルチホップ推論失敗をピンポイントし,修正する手法を提案する。 キーアテンション層への単純で効率的で目標とするメモリインジェクションは、マルチホップタスクにおいて、所望の次のトークンの確率を最大424%向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 4.343604069244352
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Answering multi-hop reasoning questions requires retrieving and synthesizing information from diverse sources. Large Language Models (LLMs) struggle to perform such reasoning consistently. Here we propose an approach to pinpoint and rectify multi-hop reasoning failures through targeted memory injections on LLM attention heads. First, we analyze the per-layer activations of GPT-2 models in response to single and multi-hop prompts. We then propose a mechanism that allows users to inject pertinent prompt-specific information, which we refer to as "memories," at critical LLM locations during inference. By thus enabling the LLM to incorporate additional relevant information during inference, we enhance the quality of multi-hop prompt completions. We show empirically that a simple, efficient, and targeted memory injection into a key attention layer can often increase the probability of the desired next token in multi-hop tasks, by up to 424%.
• Abstract（参考訳）: マルチホップ推論に答えるには、様々な情報源からの情報を検索し、合成する必要がある。 大規模言語モデル(LLM)はそのような推論を一貫して行うのに苦労する。 本稿では,LLMアテンションヘッド上のターゲットメモリ注入によるマルチホップ推論障害をピンポイントし,修正する手法を提案する。 まず,シングルホッププロンプトとマルチホッププロンプトに応答して,GPT-2モデルの層間アクティベーションを分析する。 次に,提案するメカニズムにより,ユーザが推論中に重要なLCM箇所で,関連するプロンプト固有情報を「記憶」として注入する機構を提案する。 これにより、LLMは推論中に追加の関連情報を組み込めるようになり、マルチホッププロンプトの完成度が向上する。 キーアテンション層への単純で効率的で目標とするメモリインジェクションは、マルチホップタスクにおいて、所望の次のトークンの確率を最大424%向上させることができることを示す。

関連論文リスト

• Towards Interpreting Language Models: A Case Study in Multi-Hop Reasoning [0.0]
  言語モデル(LM)は、一貫してマルチホップ推論を行うのに苦労する。 本稿では,LMアテンションヘッド上のターゲットメモリ注入によるマルチホップ推論障害をピンポイントし,修正する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T16:30:26Z)
• Breaking Chains: Unraveling the Links in Multi-Hop Knowledge Unlearning [38.03304773600225]
  大きな言語モデル(LLM)は、しばしば個人または著作権のあるデータを含む巨大な情報ストアとして機能し、それらをゼロから再トレーニングすることは不可能である。 MUNCHは、マルチホップクエリをサブクエストに分解し、最終的な意思決定における未学習モデルの不確実性を活用する、単純な不確実性に基づくアプローチである。
  論文  参考訳（メタデータ） (2024-10-17T07:00:15Z)
• Model Tells Itself Where to Attend: Faithfulness Meets Automatic Attention Steering [108.2131720470005]
  大規模言語モデル(LLM)は、様々な現実世界のタスクで顕著なパフォーマンスを示している。 彼らはしばしば、入力コンテキストを完全に理解し、効果的に利用するのに苦労し、不信または幻覚的な反応をもたらす。 本稿では,重要な文脈情報を自動的に識別し,LLMの注意点を制御して強調する手法であるAutoPASTAを提案する。
  論文  参考訳（メタデータ） (2024-09-16T23:52:41Z)
• Understanding Information Storage and Transfer in Multi-modal Large Language Models [51.20840103605018]
  本研究では,マルチモーダル大規模言語モデルを用いて,現実的な視覚的質問応答タスクにおいて情報処理を行う方法について検討する。 鍵となる発見は、これらのMLLMが情報記憶のためにずっと古いレイヤの自己注意ブロックに依存していることを示している。 モデル編集アルゴリズムであるMultEditを導入し、誤りを訂正し、MLLMに新しいロングテール情報を挿入する。
  論文  参考訳（メタデータ） (2024-06-06T16:35:36Z)
• Uncertainty Guided Global Memory Improves Multi-Hop Question Answering [3.7013865226473848]
  本稿では,まず文書全体からメモリに関連情報を収集し,それをローカルコンテキストと組み合わせてタスクを解く2段階の手法を提案する。 実験結果から, メモリ拡張入力を用いた事前学習モデルの微調整により, モデルの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-11-29T23:45:57Z)
• Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
  オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:51:10Z)
• FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation [92.43001160060376]
  本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。 多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。 我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。 これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
  論文  参考訳（メタデータ） (2023-10-05T00:04:12Z)
• Triggering Multi-Hop Reasoning for Question Answering in Language Models using Soft Prompts and Random Walks [1.5254598796939924]
  構造化知識グラフ上のランダムウォークを頼りにすることで,この制限を改善する手法を提案する。 具体的には、ソフトプロンプトを使用して、複数のホップ質問をランダムなウォークパスにマッピングすることで、LMのコード化された知識をチェーン化する。 2 つの T5 LM にメソッドを適用することで、2 ホップ推論を必要とする問題に答える上で、標準チューニングアプローチよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2023-06-06T20:45:18Z)
• Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
  MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。 本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。 学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
  論文  参考訳（メタデータ） (2022-12-19T14:48:08Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。