論文の概要: Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments

• arxiv url: http://arxiv.org/abs/2403.08593v2
• Date: Wed, 3 Jul 2024 15:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 19:54:15.952008
• Title: Call Me When Necessary: LLMs can Efficiently and Faithfully Reason over Structured Environments
• Title（参考訳）: 必要なら電話する:LLMは構造的環境に対して効率的かつ忠実に理性を持つことができる
• Authors: Sitao Cheng, Ziyuan Zhuang, Yong Xu, Fangkai Yang, Chaoyun Zhang, Xiaoting Qin, Xiang Huang, Ling Chen, Qingwei Lin, Dongmei Zhang, Saravan Rajmohan, Qi Zhang,
• Abstract要約: 本稿では,構造化環境に対する効率的な推論を行うために,Reasoning-Path-Editing (Readi)を提案する。 Readiはクエリが与えられた推論パスを生成し、必要なときにのみそのパスを編集する。 3つのKGQAデータセットと2つのTableQAデータセットの実験結果から、Readiの有効性が示された。
• 参考スコア（独自算出の注目度）: 40.95811668230818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown potential in reasoning over structured environments, e.g., knowledge graph and table. Such tasks typically require multi-hop reasoning, i.e., match natural language utterance with instances in the environment. Previous methods leverage LLMs to incrementally build a reasoning path, where the LLMs either invoke tools or pick up schemas by step-by-step interacting with the environment. We propose Reasoning-Path-Editing (Readi), a novel framework where LLMs can efficiently and faithfully reason over structured environments. In Readi, LLMs initially generate a reasoning path given a query, and edit the path only when necessary. We instantiate the path on structured environments and provide feedback to edit the path if anything goes wrong. Experimental results on three KGQA and two TableQA datasets show the effectiveness of Readi, significantly surpassing previous LLM-based methods (by 9.1% Hit@1 on WebQSP, 12.4% on MQA-3H and 9.5% on WTQ), comparable with state-of-the-art fine-tuned methods (67% on CWQ and 74.7% on WebQSP) and substantially boosting the vanilla LLMs (by 14.9% on CWQ). Our code will be available on https://aka.ms/readi.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、構造化された環境、例えば知識グラフ、テーブルを推論する可能性を示している。 このようなタスクは通常、マルチホップ推論、すなわち自然言語の発話と環境のインスタンスとのマッチングを必要とする。 従来の手法では、LSMを利用して推論パスを段階的に構築し、LSMはツールを呼び出すか、環境と段階的に対話してスキーマをピックアップする。 本稿では,LLMが構造化環境に対して効率的にかつ忠実に推論できる新しいフレームワークであるReasoning-Path-Editing (Readi)を提案する。 Readiでは、LLMはクエリが与えられた推論パスを生成し、必要なときにのみそのパスを編集する。 構造化された環境のパスをインスタンス化し、何か問題が発生した場合、パスを編集するためのフィードバックを提供します。 3つのKGQAデータセットと2つのTableQAデータセットによる実験結果は、従来のLCMベースの手法(WebQSPで9.1% Hit@1、MQA-3Hで12.4%、WTQで9.5%)をはるかに上回り、最先端の微調整手法(CWQで67%、WebQSPで74.7%)に匹敵し、バニラLCM(CWQで14.9%)を大幅に上回った。 私たちのコードはhttps://aka.ms/readi.comで公開されます。

関連論文リスト

• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• Can LLMs substitute SQL? Comparing Resource Utilization of Querying LLMs versus Traditional Relational Databases [5.00014493382197]
  大規模言語モデル(LLM)は、ソフトウェアエンジニアリングプロセスにおいて、さまざまなタイプのタスクを自動化または置換することができる。 本研究では,従来のsqlに対する自然言語クエリの解釈と実行において,LLMの資源利用と精度を評価する。
  論文  参考訳（メタデータ） (2024-04-12T16:44:28Z)
• A & B == B & A: Triggering Logical Reasoning Failures in Large Language Models [65.86149763739141]
  LogicAskerはLLMの論理的推論能力を総合的に評価し改善する自動手法である。 LogicAsker は GPT-3, ChatGPT, GPT-4, Bard, Vicuna, Guanaco の6種類の LLM に対して評価を行った。 その結果、LogicAskerのテストケースは、異なるLLMで論理的推論失敗を25%から94%の確率で発見できることがわかった。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models [122.19845578690466]
  Step-Back Promptingは、LLMが抽象化を行い、特定の詳細を含むインスタンスから高レベルの概念と第一原則を導出することを可能にする。 推論を導くために概念と原則を用いることで、LLMはソリューションへの正しい推論パスに従うことで、その能力を大幅に向上します。
  論文  参考訳（メタデータ） (2023-10-09T19:48:55Z)
• Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study [44.39031420687302]
  大規模言語モデル(LLM)は、自然言語(NL)に関連する課題を解決するために、数ショットの推論器として魅力的になってきている。 LLMの構造的理解能力を評価するためのベンチマークを設計して,これを理解しようと試みる。 重要な値や範囲識別など,効率的な構造的プロンプトのための$textitself-augmentation$を提案する。
  論文  参考訳（メタデータ） (2023-05-22T14:23:46Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Large Language Models are few(1)-shot Table Reasoners [31.036914270008978]
  大規模言語モデル(LLM)は、テキスト推論タスクを解くために、非常に優れた数ショット推論器である。 本稿では,LLMが数発の文脈内学習でテーブルタスクでどれだけうまく機能するかを理解することを目的としている。
  論文  参考訳（メタデータ） (2022-10-13T04:08:24Z)
• Large Language Models are Zero-Shot Reasoners [28.6899375595088]
  思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。 LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。 実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T09:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。