Fugu-MT 論文翻訳(概要): Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models

論文の概要: Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models

arxiv url: http://arxiv.org/abs/2409.17539v1
Date: Thu, 26 Sep 2024 04:59:45 GMT
ステータス: 処理完了
システム内更新日: 2024-09-28 23:06:47.800621
Title: Logic-of-Thought: Injecting Logic into Contexts for Full Reasoning in Large Language Models
Title（参考訳）: 論理-of-Thought:大言語モデルにおける完全推論のための文脈に論理を注入する
Authors: Tongxuan Liu, Wenjiang Xu, Weizhe Huang, Xingyu Wang, Jiaxing Wang, Hailong Yang, Jing Li,
Abstract要約: 本稿では,入力コンテキストから拡張論理情報を生成するために,命題論理を利用するロジック・オブ・ソート(LoT)プロンプトを提案する。 LoTは5つの論理的推論タスクで顕著なマージンで、様々なプロンプトメソッドのパフォーマンスを向上する。
参考スコア（独自算出の注目度）: 10.106408289179463
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across various tasks but their performance in complex logical reasoning tasks remains unsatisfactory. Although some prompting methods, such as Chain-of-Thought, can improve the reasoning ability of LLMs to some extent, they suffer from an unfaithful issue where derived conclusions may not align with the generated reasoning chain. To address this issue, some studies employ the approach of propositional logic to further enhance logical reasoning abilities of LLMs. However, the potential omissions in the extraction of logical expressions in these methods can cause information loss in the logical reasoning process, thereby generating incorrect results. To this end, we propose Logic-of-Thought (LoT) prompting which employs propositional logic to generate expanded logical information from input context, and utilizes the generated logical information as an additional augmentation to the input prompts, thereby enhancing the capability of logical reasoning. The LoT is orthogonal to existing prompting methods and can be seamlessly integrated with them. Extensive experiments demonstrate that LoT boosts the performance of various prompting methods with a striking margin across five logical reasoning tasks. In particular, the LoT enhances Chain-of-Thought's performance on the ReClor dataset by +4.35%; moreover, it improves Chain-of-Thought with Self-Consistency's performance on LogiQA by +5%; additionally, it boosts performance of Tree-of-Thoughts on ProofWriter dataset by +8%.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示したが、複雑な論理的推論タスクのパフォーマンスは相変わらず満足できないままである。 Chain-of-Thoughtのようないくつかのプロンプト法はLLMの推論能力をある程度改善することができるが、導出された結論が生成された推論連鎖と一致しない不誠実な問題に悩まされる。この問題に対処するために、LLMの論理的推論能力をさらに強化するために命題論理のアプローチを用いる研究もある。しかし、これらの方法で論理式を抽出する際の潜在的な欠落は、論理的推論過程において情報損失を引き起こし、誤った結果を生み出す。この目的のために,提案論理を用いて入力コンテキストから拡張論理情報を生成し,生成した論理情報を入力プロンプトへの付加的な拡張として利用し,論理推論の能力を高めることを提案する。 LoTは既存のプロンプトメソッドと直交しており、それらをシームレスに統合することができる。広範囲な実験により、LoTは5つの論理的推論タスクに対して顕著なマージンで様々なプロンプト法の性能を高めることが示されている。特にLoTは、ReClorデータセット上のChain-of-Thoughtのパフォーマンスを+4.35%向上させ、さらにLogiQA上でのSelf-Consistencyのパフォーマンスを+5%向上させ、ProofWriterデータセット上のTree-of-Thoughtsのパフォーマンスを+8%向上させた。

関連論文リスト

Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach [11.400815134634016]
本稿では,忠実な論理的推論のためのニューロシンボリックアプローチであるLINAを紹介する。 LLMが命題論理抽出から洗練された論理推論への移行を自律的に行えるようにすることで、LINAは推論プロセスのレジリエンスを高める。実証的な評価は、LINAが確立された命題論理フレームワークと従来のプロンプト技術の両方を著しく上回っていることを示している。
論文参考訳（メタデータ） (2024-10-29T06:38:46Z)
Reversal of Thought: Enhancing Large Language Models with Preference-Guided Reverse Reasoning Warm-up [9.42385235462794]
大規模言語モデル(LLM)は、推論タスクにおいて顕著な性能を示すが、数学的および複雑な論理的推論において制限に直面している。 LLMの論理的推論能力の向上を目的とした新しいフレームワークであるReversal of Thought (RoT)を提案する。 RoT は Preference-Guided Reverse Reasoning warm-up 戦略を利用している。
論文参考訳（メタデータ） (2024-10-16T07:44:28Z)
Logic Agent: Enhancing Validity with Logic Rule Invocation [24.815341366820753]
Chain-of-Thoughtプロンプトは、推論タスク中に言語モデルの推論能力を増強するための重要なテクニックとして現れている。本稿では,大規模言語モデルにおける推論プロセスの有効性向上を目的としたエージェントベースのフレームワークであるLogic Agent(LA)を紹介する。
論文参考訳（メタデータ） (2024-04-28T10:02:28Z)
LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
論文参考訳（メタデータ） (2024-04-23T21:08:49Z)
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
論文参考訳（メタデータ） (2024-01-01T13:53:53Z)
Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding [11.385103498440932]
本稿では,論理的推論のためのモデルの能力を高めるために,負の推論経路を用いることにより,ステップワイズな証明生成に対照的な復号を導入する。 EntailmentBankの実験は、言語モデルの計画能力を実証する上で、我々の手法の成功を裏付けている。
論文参考訳（メタデータ） (2023-11-12T05:12:49Z)
Language Models can be Logical Solvers [99.40649402395725]
論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
論文参考訳（メタデータ） (2023-11-10T16:23:50Z)
LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文参考訳（メタデータ） (2023-10-23T17:58:40Z)
Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文参考訳（メタデータ） (2023-10-02T01:00:50Z)
Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
論文参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。