論文の概要: From Indeterminacy to Determinacy: Augmenting Logical Reasoning
Capabilities with Large Language Models
- arxiv url: http://arxiv.org/abs/2310.18659v1
- Date: Sat, 28 Oct 2023 10:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 17:21:01.867093
- Title: From Indeterminacy to Determinacy: Augmenting Logical Reasoning
Capabilities with Large Language Models
- Title(参考訳): 決定性から決定性へ:大規模言語モデルによる論理推論能力の強化
- Authors: Hongda Sun, Weikai Xu, Wei Liu, Jian Luan, Bin Wang, Shuo Shang,
Ji-Rong Wen, Rui Yan
- Abstract要約: DetermLRは、推論プロセスを非決定的な前提から非決定的な前提へと転換する過程として定式化する、新しい推論フレームワークである。
DetermLRは、訪問する状態を少なくし、論理的推論タスクに対処する上で、その優れた効率性と有効性を強調しながら、より良い推論性能を達成することができる。
- 参考スコア(独自算出の注目度): 79.88472218252224
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in LLMs have revolutionized the landscape of reasoning tasks.
To enhance the capabilities of LLMs to emulate human reasoning, prior works
focus on modeling reasoning steps using specific thought structures like
chains, trees, or graphs. However, LLM-based reasoning continues to encounter
three challenges: 1) Selecting appropriate reasoning structures for various
tasks; 2) Exploiting known conditions sufficiently and efficiently to deduce
new insights; 3) Considering the impact of historical reasoning experience. To
address these challenges, we propose DetermLR, a novel reasoning framework that
formulates the reasoning process as a transformational journey from
indeterminate premises to determinate ones. This process is marked by the
incremental accumulation of determinate premises, making the conclusion
progressively closer to clarity. DetermLR includes three essential components:
1) Premise identification: We categorize premises into two distinct types:
determinate and indeterminate. This empowers LLMs to customize reasoning
structures to match the specific task complexities. 2) Premise prioritization
and exploration: We leverage quantitative measurements to assess the relevance
of each premise to the target, prioritizing more relevant premises for
exploring new insights. 3) Iterative process with reasoning memory: We
introduce a reasoning memory module to automate storage and extraction of
available premises and reasoning paths, preserving historical reasoning details
for more accurate premise prioritization. Comprehensive experimental results
show that DetermLR outperforms all baselines on four challenging logical
reasoning tasks: LogiQA, ProofWriter, FOLIO, and LogicalDeduction. DetermLR can
achieve better reasoning performance while requiring fewer visited states,
highlighting its superior efficiency and effectiveness in tackling logical
reasoning tasks.
- Abstract(参考訳): LLMの最近の進歩は推論タスクのランドスケープに革命をもたらした。
人間の推論をエミュレートするLLMの機能を強化するために、以前の研究は連鎖や木、グラフといった特定の思考構造を用いた推論ステップのモデリングに重点を置いていた。
しかし、LSMベースの推論は3つの課題に直面し続けている。
1) 各種業務に適切な推論構造を選択すること
2) 既知の条件を十分に効果的に活用し,新たな洞察を導き出す。
3) 歴史的推論経験の影響を考慮する。
これらの課題に対処するため,不定の前提から不定の前提への転換過程として推論過程を定式化する新しい推論フレームワークであるDetermLRを提案する。
このプロセスは、決定的前提の漸進的な蓄積によって特徴付けられ、結論は徐々に明確に近づきつつある。
DetermLRには3つの重要なコンポーネントがある。
1) 前提識別: 前提を2つの異なるタイプに分類する。
これにより、LLMは特定のタスクの複雑さに合わせて推論構造をカスタマイズできる。
2)優先順位付けと探索の優先順位付け:各前提の目標との関係を定量的に評価し、新たな洞察を探求するためのより関連する前提を優先順位付けする。
3)推論メモリを用いた反復処理:我々は,利用可能な前提と推論パスの記憶と抽出を自動化する推論メモリモジュールを導入し,より正確な前提優先順位付けのために,過去の推論詳細を保存する。
総合的な実験の結果,determlrはlogiqa, proofwriter, folio, logicaldeductionの4つの難しい論理推論タスクにおいて,すべてのベースラインを上回っている。
DetermLRは、訪問状態が少なくても推論性能が向上し、論理推論タスクに対処する際の効率性と有効性を強調している。
関連論文リスト
- Learning Planning-based Reasoning by Trajectories Collection and Process
Reward Synthesizing [66.50096740792928]
収集された軌道上での直接選好最適化(DPO)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2024-02-01T15:18:33Z) - Latent Skill Discovery for Chain-of-Thought Reasoning [44.30408985857306]
本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するReasoning Skill Discovery (RSD)を紹介する。
これにより、必要な推論スキルを示すサンプルの選択をガイドすることができる。
経験的に、RSDは複数の推論タスクで解答精度を最大6%向上させる。
論文 参考訳(メタデータ) (2023-12-07T20:36:10Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof
Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。
EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文 参考訳(メタデータ) (2023-11-12T05:12:49Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Are Large Language Models Really Good Logical Reasoners? A Comprehensive
Evaluation and Beyond [32.797832207443896]
大規模言語モデル(LLM)は、自然言語処理(NLP)における注目すべき革新として登場した。
本論文では,このギャップを埋め,包括的に評価することを目的としている。
論文 参考訳(メタデータ) (2023-06-16T13:39:35Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳(メタデータ) (2023-05-23T06:13:10Z) - AR-LSAT: Investigating Analytical Reasoning of Text [57.1542673852013]
テキストの分析的推論の課題を研究し、1991年から2016年までのロースクール入学試験からの質問からなる新しいデータセットを紹介します。
我々は,この課題をうまくこなすために必要な知識理解と推論能力を分析する。
論文 参考訳(メタデータ) (2021-04-14T02:53:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。