論文の概要: TypedThinker: Typed Thinking Improves Large Language Model Reasoning

• arxiv url: http://arxiv.org/abs/2410.01952v1
• Date: Wed, 2 Oct 2024 18:54:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:54:27.566816
• Title: TypedThinker: Typed Thinking Improves Large Language Model Reasoning
• Title（参考訳）: TypedThinker: 大規模言語モデルの推論を改善するTyped Thinking
• Authors: Danqing Wang, Jianxin Ma, Fei Fang, Lei Li,
• Abstract要約: 大規模言語モデルの問題解決能力を高めるフレームワークであるTypedThinkerを提案する。 TypedThinkerは、与えられた問題に対して適切な推論型を選択し、特定の推論型を効果的に実装する、という2つの主要な課題に対処する。 実験の結果、Mistral 7Bは3.4%、LLaMA3 8Bは16.7%の精度でベースラインモデルよりも大幅に改善された。
• 参考スコア（独自算出の注目度）: 44.8904486513791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant advancements in the reasoning capabilities of Large Language Models (LLMs), the lack of diverse reasoning solutions often makes them trapped in a limited solution search area. In this paper, we propose TypedThinker, a novel framework that enhances LLMs' problem-solving abilities by incorporating multiple reasoning types (deductive, inductive, abductive, and analogical). Our analysis across four benchmarks reveals that different reasoning types uniquely solve distinct sets of problems, highlighting the importance of diverse thinking approaches. TypedThinker addresses two key challenges: selecting appropriate reasoning types for given problems and effectively implementing specific reasoning types. Through self-training on successful experiences, TypedThinker learns an implicit policy for reasoning type selection and application. Experimental results demonstrate significant improvements over baseline models, with accuracy increases of 3.4% for Mistral 7B and 16.7% for LLaMA3 8B across four reasoning benchmarks. Notably, TypedThinker shows effective generalization to new benchmarks and can further enhance the reasoning capability of powerful models like GPT-4o. The code is released at https://github.com/dqwang122/ThinkHub.
• Abstract（参考訳）: LLM(Large Language Models)の推論能力は大幅に進歩しているが、多種多様な推論ソリューションが欠如しているため、限定された解探索領域に閉じ込められていることが多い。 本稿では,複数の推論型(帰納的,帰納的,帰納的,類推的)を組み込むことで,LLMの問題解決能力を高める新しいフレームワークであるTypedThinkerを提案する。 4つのベンチマークで分析したところ、異なる推論型は異なる問題の集合を独特に解き、多様な思考アプローチの重要性を強調した。 TypedThinkerは、与えられた問題に対して適切な推論型を選択し、特定の推論型を効果的に実装する、という2つの主要な課題に対処する。 TypedThinkerは、成功した経験を自己学習することで、型の選択と適用を推論するための暗黙のポリシーを学ぶ。 実験の結果、Mistral 7Bは3.4%、LLaMA3 8Bは16.7%の精度で4つの推論ベンチマークでベースラインモデルよりも大幅に改善された。 特にTypedThinkerは、新しいベンチマークを効果的に一般化し、GPT-4oのような強力なモデルの推論能力をさらに強化することができる。 コードはhttps://github.com/dqwang122/ThinkHubで公開されている。

関連論文リスト

• Seemingly Plausible Distractors in Multi-Hop Reasoning: Are Large Language Models Attentive Readers? [6.525065859315515]
  大規模言語モデル (LLM) がマルチホップ推論ベンチマークの簡易化に有効かどうかを検討する。 この発見に触発されて、我々は、もっともらしいマルチホップ推論連鎖を生成することで、挑戦的なマルチホップ推論ベンチマークを提案する。 その結果, マルチホップ推論の性能はF1スコアの45%まで低下していることがわかった。
  論文  参考訳（メタデータ） (2024-09-08T19:22:58Z)
• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Investigating the Efficacy of Large Language Models in Reflective Assessment Methods through Chain of Thoughts Prompting [0.2552922646705803]
  複雑な推論タスクにおけるLLMの習熟度を高める手段として、Chain of Thought(CoT)プロンプト法が提案されている。 本研究の主な目的は、4つの言語モデルが3年制医学生の振り返りエッセイをいかに評価できるかを評価することである。
  論文  参考訳（メタデータ） (2023-09-30T06:25:27Z)
• Tree of Thoughts: Deliberate Problem Solving with Large Language Models [52.31950122881687]
  言語モデル推論のための新しいフレームワーク、Tree of Thoughts (ToT)を紹介します。 ToTは、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化する。 実験の結果,ToTは言語モデルの問題解決能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-05-17T23:16:17Z)
• IRRGN: An Implicit Relational Reasoning Graph Network for Multi-turn Response Selection [4.471148909362883]
  Graph Networkへのインプシット推論は、発話間の暗黙的な抽出と、発話とオプションの抽出を目的としている。 モデルは、初めて MuTual データセットで人のパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2022-12-01T13:17:25Z)
• Making Large Language Models Better Reasoners with Step-Aware Verifier [49.16750018427259]
  DIVERSE(Diverse Verifier on Reasoning Step)は、言語モデルの推論能力をさらに強化する新しいアプローチである。 最新の言語モデルであるcode-davinci 上で DIVERSE を評価し,8つの推論ベンチマークのうち6つで新たな最先端結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-06T03:38:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。