論文の概要: From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models

• arxiv url: http://arxiv.org/abs/2311.06754v1
• Date: Sun, 12 Nov 2023 06:56:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 17:06:50.012355
• Title: From Complex to Simple: Unraveling the Cognitive Tree for Reasoning with Small Language Models
• Title（参考訳）: 複雑から単純へ:小さな言語モデルによる推論のための認知木を解く
• Authors: Junbing Yan, Chengyu Wang, Taolin Zhang, Xiaofeng He, Jun Huang, Wei Zhang
• Abstract要約: 私たちは、言語モデルの認知的推論能力を初めて明らかにしました。 認知科学における二重プロセス理論に基づいて、私たちは言語モデルの認知的推論能力を初めて解明する。
• 参考スコア（独自算出の注目度）: 25.628569338856934
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reasoning is a distinctive human capacity, enabling us to address complex problems by breaking them down into a series of manageable cognitive steps. Yet, complex logical reasoning is still cumbersome for language models. Based on the dual process theory in cognitive science, we are the first to unravel the cognitive reasoning abilities of language models. Our framework employs an iterative methodology to construct a Cognitive Tree (CogTree). The root node of this tree represents the initial query, while the leaf nodes consist of straightforward questions that can be answered directly. This construction involves two main components: the implicit extraction module (referred to as the intuitive system) and the explicit reasoning module (referred to as the reflective system). The intuitive system rapidly generates multiple responses by utilizing in-context examples, while the reflective system scores these responses using comparative learning. The scores guide the intuitive system in its subsequent generation step. Our experimental results on two popular and challenging reasoning tasks indicate that it is possible to achieve a performance level comparable to that of GPT-3.5 (with 175B parameters), using a significantly smaller language model that contains fewer parameters (<=7B) than 5% of GPT-3.5.
• Abstract（参考訳）: 推論は人間特有の能力であり、それらを一連の管理可能な認知ステップに分割することで複雑な問題に対処できる。 しかし、複雑な論理的推論は言語モデルではいまだに困難である。 認知科学における二重プロセス理論に基づいて、私たちは言語モデルの認知的推論能力を初めて解明する。 本フレームワークはコグニティブツリー(cogtree)を構築するために反復的手法を用いる。 このツリーのルートノードは最初のクエリを表し、リーフノードは直接答えられる簡単な質問で構成されています。 この構成には、暗黙的抽出モジュール(直観的システムと呼ばれる)と明示的推論モジュール(反射システムと呼ばれる)の2つの主要コンポーネントが含まれる。 直観的なシステムは文脈内サンプルを用いて複数の応答を迅速に生成し、反射システムは比較学習を用いてこれらの応答をスコア付けする。 スコアは、その後の生成ステップにおいて直感的なシステムを導く。 GPT-3.5 の 5% 未満のパラメータ (=7B) を含む言語モデルを用いて, GPT-3.5 に匹敵する性能レベルを達成することができることを示す。

関連論文リスト

• Ontology-Guided Reverse Thinking Makes Large Language Models Stronger on Knowledge Graph Question Answering [24.821273655754222]
  Ontology-Guided Reverse Thinking (ORT)は、目的から条件への推論パスを構築する新しいフレームワークである。 ORT は,(1) LLM を用いて目的ラベルと条件ラベルを抽出し,(2) KG オントロジーに基づくラベル推論経路を構築し,(3) ラベル推論経路を用いて知識検索を行う。 WebQSPとCWQデータセットの実験は、ORTが最先端のパフォーマンスを達成し、KGQAのためのLLMの能力を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2025-02-17T06:53:15Z)
• Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning [32.64328595807457]
  言語モデル Ensemble with Monte Carlo Tree Search (LE-MCTS) は、言語モデルのプロセスレベルのアンサンブルのための新しいフレームワークである。 LE-MCTSはマルコフ決定プロセスとして言語モデルの集合を用いてステップバイステップ推論を定式化する。
  論文  参考訳（メタデータ） (2024-12-20T11:14:29Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己制限を統合したセルフプレイフレームワークで、気を散らさずに有効かつ同等の選好ペアを得る。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Improving Arithmetic Reasoning Ability of Large Language Models through Relation Tuples, Verification and Dynamic Feedback [14.938401898546553]
  本稿では,大規模言語モデルの推論ステップを表現するために,半構造化形式を提案する。 具体的には、人間だけでなく、マシンフレンドリで、自然言語よりも容易に検証できる関係を使います。
  論文  参考訳（メタデータ） (2024-06-25T18:21:00Z)
• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions [93.40614719648386]
  大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。 最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。 確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:52:37Z)
• Language Models can be Logical Solvers [99.40649402395725]
  論理解法の推論過程を直接エミュレートする新しい言語モデルであるLoGiPTを導入する。 LoGiPTは、導出的ソルバの見えない推論過程を明らかにして精錬することから導かれる、新しく構築された命令チューニングデータセットに基づいて微調整される。
  論文  参考訳（メタデータ） (2023-11-10T16:23:50Z)
• STREET: A Multi-Task Structured Reasoning and Explanation Benchmark [56.555662318619135]
  マルチタスクとマルチドメインの自然言語推論と説明ベンチマークを統一的に導入する。 我々は、モデルが質問に答えるだけでなく、ある解の正しさを証明できる中間的な結論を生成するために、問題の前提がどのように使われているかを記述する、段階的に構造化された説明を生成することを期待している。
  論文  参考訳（メタデータ） (2023-02-13T22:34:02Z)
• Saliency Map Verbalization: Comparing Feature Importance Representations from Model-free and Instruction-based Methods [6.018950511093273]
  サージェンシマップは、重要な入力特徴を特定することによって、ニューラルネットワークの予測を説明することができる。 我々は,サリエンシマップを自然言語に翻訳する未調査課題を定式化する。 本研究では,従来の特徴強調表現と比較した2つの新手法(検索ベースおよび命令ベース言語化)を比較した。
  論文  参考訳（メタデータ） (2022-10-13T17:48:15Z)
• Machine Reading, Fast and Slow: When Do Models "Understand" Language? [59.897515617661874]
  本稿では,2つの言語スキル(コア参照の解決と比較)に関して,理解モデルを読み取る行動について検討する。 比較のため(コアではない)、より大きなエンコーダに基づくシステムは、より「正しい」情報に依存する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2022-09-15T16:25:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。