論文の概要: Large Language Models as an Indirect Reasoner: Contrapositive and
Contradiction for Automated Reasoning
- arxiv url: http://arxiv.org/abs/2402.03667v1
- Date: Tue, 6 Feb 2024 03:41:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 16:42:32.881805
- Title: Large Language Models as an Indirect Reasoner: Contrapositive and
Contradiction for Automated Reasoning
- Title(参考訳): 間接的推論としての大規模言語モデル--非肯定的・矛盾的推論
- Authors: Yanfang Zhang, Yiliu Sun, Yibing Zhan, Dapeng Tao, Dacheng Tao, Chen
Gong
- Abstract要約: 本稿では, 事実推論や数学的証明といったIR課題に対処するために, 反陽性と矛盾の論理を用いた間接推論(IR)手法を提案する。
GPT-3.5-turbo や Gemini-pro などの一般的な LLM の実験結果から,我々のIR 法は事実推論の総合的精度を27.33%,数学的証明を31.43%向上させることを示した。
- 参考スコア(独自算出の注目度): 79.37150041259066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, increasing attention has been focused drawn on to improve the
ability of Large Language Models (LLMs) to perform complex reasoning. However,
previous methods, such as Chain-of-Thought and Self-Consistency, mainly follow
Direct Reasoning (DR) frameworks, so they will meet difficulty in solving
numerous real-world tasks which can hardly be solved via DR. Therefore, to
strengthen the reasoning power of LLMs, this paper proposes a novel Indirect
Reasoning (IR) method that employs the logic of contrapositives and
contradictions to tackle IR tasks such as factual reasoning and mathematic
proof. Specifically, our methodology comprises two steps. Firstly, we leverage
the logical equivalence of contrapositive to augment the data and rules to
enhance the comprehensibility of LLMs. Secondly, we design a set of prompt
templates to trigger LLMs to conduct IR based on proof by contradiction that is
logically equivalent to the original DR process. Our IR method is simple yet
effective and can be straightforwardly integrated with existing DR methods to
further boost the reasoning abilities of LLMs. The experimental results on
popular LLMs, such as GPT-3.5-turbo and Gemini-pro, show that our IR method
enhances the overall accuracy of factual reasoning by 27.33% and mathematical
proof by 31.43%, when compared with traditional DR methods. Moreover, the
methods combining IR and DR significantly outperform the methods solely using
IR or DR, further demonstrating the effectiveness of our strategy.
- Abstract(参考訳): 近年,Large Language Models (LLM) の複雑な推論能力の向上に注目が集まっている。
しかし,従来のチェーン・オブ・ソートや自己整合性といった手法は,主に直接推論(DR)の枠組みを踏襲しているため,DRによる解決が困難な現実的な課題の解決に苦慮する。そのため,本研究では,現実的推論や数理的証明などのIR課題に対処するために,反正の論理と矛盾を取り入れた新しい間接推論(IR)手法を提案する。
具体的には,2つのステップから構成される。
まず, llmの理解性を高めるために, コントラプラスの論理等価性を利用してデータと規則を補強する。
第2に、論理的に元のDRプロセスと等価な矛盾による証明に基づいて、LCMを誘導するプロンプトテンプレートのセットを設計する。
我々のIR法は単純だが有効であり、既存のDR法と簡単に統合でき、LCMの推論能力をさらに向上させることができる。
GPT-3.5-turbo や Gemini-pro などの一般的な LLM に関する実験結果から,従来の DR 法と比較すると,我々のIR 法は事実推論の総合的精度を27.33%,数学的証明を31.43%向上させることが示された。
さらに,ir と dr を組み合わせる手法は,ir と dr のみを使用する手法を著しく上回っており,提案手法の有効性も示している。
関連論文リスト
- Comparing Inferential Strategies of Humans and Large Language Models in
Deductive Reasoning [30.399418995991585]
大規模言語モデル(LLM)では,人間の観察と類似した推論パターンが示される。
我々の研究は、モデルの構造と規模が、その好む推論方法に大きく影響していることを示します。
論文 参考訳(メタデータ) (2024-02-20T12:58:14Z) - Generating Chain-of-Thoughts with a Direct Pairwise-Comparison Approach
to Searching for the Most Promising Intermediate Thought [75.42560889109559]
思考の連鎖(CoT)法は、大きな言語モデルにステップバイステップの推論を導くために提案された。
大規模言語モデル(LLM)による評価は一般的にノイズが多く、信頼性が低いため、生成プロセスの誤解を招く可能性がある。
本稿では,最も有望な思考を直接識別する比較に基づくCoT生成アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-10T09:51:03Z) - LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。
近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
論文 参考訳(メタデータ) (2024-01-17T08:22:52Z) - Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof
Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。
EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文 参考訳(メタデータ) (2023-11-12T05:12:49Z) - Concise and Organized Perception Facilitates Large Language Models for
Deductive Reasoning [36.590274024394326]
コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。
COPは与えられたステートメントを慎重に分析し、冗長性を排除しつつ、最も関連する情報を効率的に識別する。
その後、モデルの推論プロセスに適応するより組織化された形式でLLMを誘導する。
論文 参考訳(メタデータ) (2023-10-05T04:47:49Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
姿勢検出タスクにLadder-of-Thought(LoT)を導入する。
LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。
実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
論文 参考訳(メタデータ) (2023-08-31T14:31:48Z) - Negotiated Reasoning: On Provably Addressing Relative
Over-Generalization [49.5896371203566]
過度に一般化することは認知科学における厄介な問題であり、人々は過去の経験のために過度に慎重になる可能性がある。
マルチエージェント強化学習(MARL)のエージェントも、人々が行うように相対的な過剰一般化(RO)に悩まされ、準最適協力に固執している。
近年, エージェントに対する推論能力の割り当てはアルゴリズム的にも経験的にもROを緩和できることが示されたが, ROの理論的理解は乏しい。
論文 参考訳(メタデータ) (2023-06-08T16:57:12Z) - Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。
我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。
2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文 参考訳(メタデータ) (2023-05-23T06:13:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。