Fugu-MT 論文翻訳(概要): Investigating How Large Language Models Leverage Internal Knowledge to Perform Complex Reasoning

論文の概要: Investigating How Large Language Models Leverage Internal Knowledge to Perform Complex Reasoning

arxiv url: http://arxiv.org/abs/2406.19502v1
Date: Thu, 27 Jun 2024 19:29:36 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 18:31:50.657227
Title: Investigating How Large Language Models Leverage Internal Knowledge to Perform Complex Reasoning
Title（参考訳）: 複雑な推論を実現するための内部知識を活用する大規模言語モデルの検討
Authors: Miyoung Ko, Sue Hyun Park, Joonsuk Park, Minjoon Seo,
Abstract要約: 我々は,DepthQAデータセットを開発し,質問を3つの深さに分解する: (i)概念的知識の想起, (ii)手続き的知識の適用, (iii)戦略的知識の分析。我々の分析では、より小さなモデルはより大きなモデルよりも多くの相違があることが示されている。
参考スコア（独自算出の注目度）: 30.349165483935682
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite significant advancements, there is a limited understanding of how large language models (LLMs) utilize knowledge for reasoning. To address this, we propose a method that deconstructs complex real-world questions into a graph, representing each question as a node with parent nodes of background knowledge needed to solve the question. We develop the DepthQA dataset, deconstructing questions into three depths: (i) recalling conceptual knowledge, (ii) applying procedural knowledge, and (iii) analyzing strategic knowledge. Based on a hierarchical graph, we quantify forward discrepancy, discrepancies in LLMs' performance on simpler sub-problems versus complex questions. We also measure backward discrepancy, where LLMs answer complex questions but struggle with simpler ones. Our analysis shows that smaller models have more discrepancies than larger models. Additionally, guiding models from simpler to complex questions through multi-turn interactions improves performance across model sizes, highlighting the importance of structured intermediate steps in knowledge reasoning. This work enhances our understanding of LLM reasoning and suggests ways to improve their problem-solving abilities.
Abstract（参考訳）: 大幅な進歩にもかかわらず、大規模言語モデル(LLM)が推論に知識をどのように利用するかについては、限定的な理解がある。そこで本研究では,複雑な実世界の質問をグラフに分解し,各質問を探索に必要な背景知識の親ノードを持つノードとして表現する手法を提案する。 DepthQAデータセットを開発し、質問を3つの深さに分解する。一概念的知識を思い出すこと。二手続き的知識を適用すること、及び三戦略知識の分析。階層グラフに基づいて、より単純なサブプロブレムと複雑な問題に対するLLMの性能の相違点、前方の相違点を定量化する。 LLMは複雑な質問に答えるが、より単純な質問で苦労する。我々の分析では、より小さなモデルはより大きなモデルよりも多くの相違があることが示されている。さらに、単純な問題から複雑な問題まで、マルチターンインタラクションを通じてモデルを導くことで、モデルのサイズをまたいだパフォーマンスが向上し、知識推論における構造化中間ステップの重要性が強調される。この研究はLLM推論の理解を深め、その問題解決能力を改善する方法を提案する。

関連論文リスト

Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文参考訳（メタデータ） (2024-11-20T17:55:38Z)
Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。大規模な実験により,提案システムの有効性が検証された。
論文参考訳（メタデータ） (2024-10-18T05:30:33Z)
GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
論文参考訳（メタデータ） (2024-10-11T03:05:06Z)
Reasoning with Large Language Models, a Survey [2.831296564800826]
本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
論文参考訳（メタデータ） (2024-07-16T08:49:35Z)
Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
論文参考訳（メタデータ） (2024-06-19T23:30:01Z)
Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
論文参考訳（メタデータ） (2024-04-04T16:40:11Z)
Interactive-KBQA: Multi-Turn Interactions for Knowledge Base Question Answering with Large Language Models [7.399563588835834]
Interactive-KBQAは知識ベース(KB)との直接インタラクションを通じて論理形式を生成するように設計されたフレームワークである提案手法は,WebQuestionsSP, ComplexWebQuestions, KQA Pro, MetaQAデータセット上での競合結果を実現する。
論文参考訳（メタデータ） (2024-02-23T06:32:18Z)
Puzzle Solving using Reasoning of Large Language Models: A Survey [1.9939549451457024]
本稿では,Large Language Models (LLMs) のパズル解法における能力について検討する。以上の結果から,LLM能力と人為的推論の相違が明らかとなった。この調査は、LLMのパズル解決能力を向上させるために、新しい戦略とよりリッチなデータセットの必要性を浮き彫りにした。
論文参考訳（メタデータ） (2024-02-17T14:19:38Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。