論文の概要: Eliminating Reasoning via Inferring with Planning: A New Framework to
Guide LLMs' Non-linear Thinking
- arxiv url: http://arxiv.org/abs/2310.12342v2
- Date: Wed, 15 Nov 2023 00:59:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-16 19:36:46.087282
- Title: Eliminating Reasoning via Inferring with Planning: A New Framework to
Guide LLMs' Non-linear Thinking
- Title(参考訳): 計画による推論による推論の排除: llmsの非線形思考を導く新しい枠組み
- Authors: Yongqi Tong, Yifan Wang, Dawei Li, Sizhe Wang, Zi Lin, Simeng Han,
Jingbo Shang
- Abstract要約: CoT(Chain-of-Thought)のプロンプトとその変種は、高レベルの推論能力を持つ大規模言語モデルを装備することを模索している。
我々は,排除と推論の原理を組み合わせた新しいプロンプトである textbfInferential textbfExclusion textbfPrompting (IEP) を提案する。
- 参考スコア(独自算出の注目度): 40.22335733384235
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-Thought(CoT) prompting and its variants explore equipping large
language models (LLMs) with high-level reasoning abilities by emulating
human-like linear cognition and logic. However, the human mind is complicated
and mixed with both linear and nonlinear thinking. In this work, we propose
\textbf{I}nferential \textbf{E}xclusion \textbf{P}rompting (IEP), a novel
prompting that combines the principles of elimination and inference in order to
guide LLMs to think non-linearly. IEP guides LLMs to plan and then utilize
Natural Language Inference (NLI) to deduce each possible solution's entailment
relation with context, commonsense, or facts, therefore yielding a broader
perspective by thinking back for inferring. This forward planning and backward
eliminating process allows IEP to better simulate the complex human thinking
processes compared to other CoT-based methods, which only reflect linear
cognitive processes. We conducted a series of empirical studies and have
corroborated that IEP consistently outperforms CoT across various tasks.
Additionally, we observe that integrating IEP and CoT further improves the
LLMs' performance on certain tasks, highlighting the necessity of equipping
LLMs with mixed logic processes. Moreover, to better evaluate comprehensive
features inherent in human logic, we introduce \textbf{M}ental-\textbf{A}bility
\textbf{R}easoning \textbf{B}enchmark (MARB). The benchmark comprises six novel
subtasks with a total of 9,115 questions, among which 1,685 are developed with
hand-crafted rationale references. We believe both \textsc{IEP} and
\textsc{MARB} can serve as a promising direction for unveiling LLMs' logic and
verbal reasoning abilities and drive further advancements. \textsc{MARB} will
be available at ~\texttt{anonymity link} soon.
- Abstract(参考訳): CoT(Chain-of-Thought)の促進と、その変種は、人間のような線形認知と論理をエミュレートすることで、高い推論能力を持つ大規模言語モデル(LLM)の装備を探究する。
しかし、人間の心は複雑で、線形思考と非線形思考の両方と混ざり合っている。
本研究では, LLM の非直線的思考を導くために, 排除原理と推論の原理を組み合わさった小説である \textbf{I}nferential \textbf{E}xclusion \textbf{P}rompting (IEP) を提案する。
IEP は LLM を計画し、自然言語推論 (NLI) を利用して、それぞれの可能なソリューションのコンテキスト、常識、事実との関係を推論する。
この前方計画と後方削除プロセスにより、IEPは、線形認知過程のみを反映する他のCoTベースの方法と比較して、複雑な人間の思考プロセスをシミュレートすることができる。
我々は一連の実証実験を行い、IEPがCoTを一貫して上回っていることを裏付けた。
さらに、IEPとCoTの統合により、特定のタスクにおけるLLMの性能が向上し、混合論理プロセスによるLLMの装備の必要性が強調される。
さらに,人間の論理に固有の包括的特徴をよりよく評価するために,<textbf{M}ental-\textbf{A}bility \textbf{R}easoning \textbf{B}enchmark (MARB)を紹介する。
このベンチマークは6つの新しいサブタスクから成り、合計9,115の質問があり、そのうち1,685は手作りの合理化参照で開発されている。
我々は,「textsc{IEP}」と「textsc{MARB}」の両方が,LLMの論理と言語推論能力を明らかにする上で有望な方向として機能し,さらなる進歩をもたらすと考えている。
もうすぐ ~\texttt{anonymity link} で \textsc{MARB} が利用可能になる。
関連論文リスト
- Can LLMs Compute with Reasons? [4.995189458714599]
大規模言語モデル(LLM)は複雑な数学的タスクに苦しむことが多く、誤った答えを「幻覚させる」傾向がある。
本研究では,Small LangSLMの分散ネットワークを利用した「帰納学習」手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T12:04:25Z) - Generating Chain-of-Thoughts with a Direct Pairwise-Comparison Approach
to Searching for the Most Promising Intermediate Thought [75.42560889109559]
思考の連鎖(CoT)法は、大きな言語モデルにステップバイステップの推論を導くために提案された。
大規模言語モデル(LLM)による評価は一般的にノイズが多く、信頼性が低いため、生成プロセスの誤解を招く可能性がある。
本稿では,最も有望な思考を直接識別する比較に基づくCoT生成アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-02-10T09:51:03Z) - Enhancing Ethical Explanations of Large Language Models through
Iterative Symbolic Refinement [5.108863224378874]
本稿では,ハイブリッド・ニューロシンボリック・テクニックが倫理的説明の論理的妥当性とアライメントをいかに向上させるかを検討する。
本稿では,大規模言語モデルと外部の後方鎖型ソルバを統合した導出型フレームワーク Logic-Explainer を提案する。
経験的分析により、Logic-Explainerは、コンテキスト内学習法とChain-of-Thoughtを通じて生成された説明を改善することができることを示した。
論文 参考訳(メタデータ) (2024-02-01T16:39:51Z) - LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。
近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
論文 参考訳(メタデータ) (2024-01-17T08:22:52Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical
Reasoning Capabilities of Language Models [58.76688462256284]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
一つのタスクトレーニング,複数タスクトレーニング,および思考知識の蒸留微調整手法の連鎖について検討し,異なる論理的推論カテゴリにおけるモデルの性能を評価する。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-05-16T17:55:51Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-21T16:23:47Z) - Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf
Language Models [63.808843089941405]
大規模な事前訓練された言語モデル(LM)は、顕著な品質のテキストを生成するが、左から右へ連続的にしか生成しない。
非順序タスクへの一方向LMの直接適用を可能にする新しい教師なしアルゴリズムであるReflective Decodingを提案する。
2段階のアプローチでは、監視もパラレルコーパスも必要ありません。
論文 参考訳(メタデータ) (2020-10-16T18:02:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。