論文の概要: Do Large Language Models Latently Perform Multi-Hop Reasoning?
- arxiv url: http://arxiv.org/abs/2402.16837v1
- Date: Mon, 26 Feb 2024 18:57:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:34:13.218482
- Title: Do Large Language Models Latently Perform Multi-Hop Reasoning?
- Title(参考訳): 大規模言語モデルはマルチホップ推論を遅延的に行うか?
- Authors: Sohee Yang, Elena Gribovskaya, Nora Kassner, Mor Geva, Sebastian
Riedel
- Abstract要約: 我々は,Large Language Models (LLMs) が "The mother of the singer of 'Superstition' is" のような複雑なプロンプトを用いて,最近マルチホップ推論を行っているかを検討する。
特定の関係型のプロンプトに対する潜在マルチホップ推論の強い証拠が得られ,プロンプトの80%以上で推論経路が用いられている。
- 参考スコア(独自算出の注目度): 33.41309859079347
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study whether Large Language Models (LLMs) latently perform multi-hop
reasoning with complex prompts such as "The mother of the singer of
'Superstition' is". We look for evidence of a latent reasoning pathway where an
LLM (1) latently identifies "the singer of 'Superstition'" as Stevie Wonder,
the bridge entity, and (2) uses its knowledge of Stevie Wonder's mother to
complete the prompt. We analyze these two hops individually and consider their
co-occurrence as indicative of latent multi-hop reasoning. For the first hop,
we test if changing the prompt to indirectly mention the bridge entity instead
of any other entity increases the LLM's internal recall of the bridge entity.
For the second hop, we test if increasing this recall causes the LLM to better
utilize what it knows about the bridge entity. We find strong evidence of
latent multi-hop reasoning for the prompts of certain relation types, with the
reasoning pathway used in more than 80% of the prompts. However, the
utilization is highly contextual, varying across different types of prompts.
Also, on average, the evidence for the second hop and the full multi-hop
traversal is rather moderate and only substantial for the first hop. Moreover,
we find a clear scaling trend with increasing model size for the first hop of
reasoning but not for the second hop. Our experimental findings suggest
potential challenges and opportunities for future development and applications
of LLMs.
- Abstract(参考訳): 本稿では,Large Language Models (LLMs) が "The mother of the singer of 'Superstition' is is." のような複雑なプロンプトでマルチホップ推論を行うかどうかを検討する。
我々は,LLM(1)が「迷信」の歌手を橋梁の実体であるスティービー・ワンダー(Stevie Wonder)と認識し,(2)スティービー・ワンダー(Stevie Wonder)の母親の知識を駆使してプロンプトを完遂する潜在的推論経路の証拠を探る。
これら2つのホップを個別に分析し,それらの共起を潜在的マルチホップ推論の指標と考える。
最初のホップでは、他のどのエンティティよりも間接的にブリッジエンティティに言及するプロンプトを変更すると、LLMの内部でブリッジエンティティをリコールする。
第2のホップでは、このリコールの増加がLLMのブリッジエンティティに関する知識をより有効活用させるかどうかをテストする。
我々は,ある関係型のプロンプトに対する潜在的マルチホップ推論の強い証拠と,プロンプトの80%以上で使用されている推論経路を見いだした。
しかし、利用状況は高度であり、さまざまなタイプのプロンプトによって異なる。
また、平均して、第2ホップと全マルチホップトラバーサルの証拠は、比較的適度であり、第1ホップでのみ十分である。
さらに,モデルサイズを増加させることで,推論の第一段階に留まらず,第二段階のホップに留まらず,明確なスケーリング傾向を見出した。
実験結果から, LLMの今後の開発と応用に向けた課題と機会が示唆された。
関連論文リスト
- Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。
しかし、それらは自然言語に対して本当に「理性」があるのだろうか?
この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文 参考訳(メタデータ) (2024-04-23T21:08:49Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop
Queries [22.4349439498591]
Retrieval-augmented Generation (RAG)は、関連する知識を検索することで、大きな言語モデル(LLM)を拡張する。
既存のRAGシステムはマルチホップクエリに応答するには不十分であり、複数の証拠を検索して推論する必要がある。
我々は,知識ベース,多数のマルチホップクエリのコレクション,基礎的回答,関連する支持証拠からなる新しいデータセットであるMultiHop-RAGを開発した。
論文 参考訳(メタデータ) (2024-01-27T11:41:48Z) - Deceptive Semantic Shortcuts on Reasoning Chains: How Far Can Models Go without Hallucination? [73.454943870226]
本研究はセマンティックアソシエーションによって誘発される特定の種類の幻覚の研究である。
この現象を定量化するために,EureQAと呼ばれる新しい探索手法とベンチマークを提案する。
論文 参考訳(メタデータ) (2023-11-16T09:27:36Z) - Towards a Mechanistic Interpretation of Multi-Step Reasoning
Capabilities of Language Models [107.07851578154242]
言語モデル(LM)は強力な多段階推論能力を持つ。
LMが事前学習コーパスから記憶された回答を不正に処理するか,多段階推論機構を用いてタスクを実行するかは明らかでない。
メカニスティックプローブは,ほとんどの例において,モデルの注意から推論ツリーの情報を検出することができることを示す。
論文 参考訳(メタデータ) (2023-10-23T01:47:29Z) - Memory Injections: Correcting Multi-Hop Reasoning Failures during
Inference in Transformer-Based Language Models [4.343604069244352]
そこで本研究では,アテンションヘッドにターゲットメモリを注入することで,マルチホップ推論失敗をピンポイントし,修正する手法を提案する。
キーアテンション層への単純で効率的で目標とするメモリインジェクションは、マルチホップタスクにおいて、所望の次のトークンの確率を最大424%向上させることができることを示す。
論文 参考訳(メタデータ) (2023-09-11T16:39:30Z) - Triggering Multi-Hop Reasoning for Question Answering in Language Models
using Soft Prompts and Random Walks [1.5254598796939924]
構造化知識グラフ上のランダムウォークを頼りにすることで,この制限を改善する手法を提案する。
具体的には、ソフトプロンプトを使用して、複数のホップ質問をランダムなウォークパスにマッピングすることで、LMのコード化された知識をチェーン化する。
2 つの T5 LM にメソッドを適用することで、2 ホップ推論を必要とする問題に答える上で、標準チューニングアプローチよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2023-06-06T20:45:18Z) - Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question
Answering [71.49131159045811]
マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。
既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。
そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
論文 参考訳(メタデータ) (2022-08-22T13:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。