論文の概要: Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

• arxiv url: http://arxiv.org/abs/2411.18478v1
• Date: Wed, 27 Nov 2024 16:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:11.252582
• Title: Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS
• Title（参考訳）: 例を超えて:MCTSによるインコンテキスト学習における高レベル自動推論パラダイム
• Authors: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Feihu Che, Zengqi Wen, Jianhua Tao,
• Abstract要約: HiAR-ICLは特定の例から抽象的な思考パターンへとシフトする。 適切な思考カードと動的に一致する認知複雑性フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 25.640919426478483
• License:
• Abstract: In-context Learning (ICL) enables large language models (LLMs) to tackle downstream tasks through sophisticated prompting and high-quality demonstrations. However, this traditional ICL paradigm shows limitations when facing complex mathematical reasoning tasks, primarily due to its heavy dependence on example quality and the necessity for human intervention in challenging scenarios. To address these limitations, this paper presents HiAR-ICL, a \textbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL} that shifts focus from specific examples to abstract thinking patterns, extending the conventional concept of context in ICL. HiAR-ICL introduces five atomic reasoning actions as fundamental components for constructing chain-structured patterns. Using Monte Carlo Tree Search, we explore reasoning paths and construct thought cards to guide subsequent inference. We then develop a cognitive complexity framework that dynamically matches problems with appropriate thought cards. Experimental results demonstrate HiAR-ICL's effectiveness, achieving state-of-the-art accuracy (79.6$\%$) on the MATH benchmark with Qwen2.5-7B-Instruct, surpassing GPT-4o (76.6$\%$) and Claude 3.5 (71.1$\%$).
• Abstract（参考訳）: In-context Learning (ICL) は、大規模な言語モデル(LLM)が高度なプロンプトと高品質なデモを通じて下流タスクに取り組むことを可能にする。 しかし、この伝統的なICLパラダイムは複雑な数学的推論タスクに直面する際の限界を示しており、主な原因は、実例の品質に大きく依存していることと、挑戦的なシナリオにおける人間の介入の必要性である。 これらの制約に対処するため、本論文では、特定の例から抽象的な思考パターンへ焦点を移し、ICLにおける従来の文脈概念を拡張したHiAR-ICL(Hitextbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL})を提案する。 HiAR-ICLは、チェーン構造パターンを構築するための基本的なコンポーネントとして、5つの原子推論アクションを導入している。 モンテカルロ木探索を用いて推論経路を探索し,その後の推論を導くための思考カードを構築する。 次に,問題と適切な思考カードを動的にマッチングする認知的複雑性フレームワークを開発する。 実験の結果、HiAR-ICLの有効性を示し、Qwen2.5-7B-InstructによるMATHベンチマークで最先端の精度 (79.6$\%$) を達成し、GPT-4o (76.6$\%$) と Claude 3.5 (71.1$\%$) を上回った。

関連論文リスト

• Inductive Learning of Logical Theories with LLMs: A Complexity-graded Analysis [9.865771016218549]
  本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。 この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
  論文  参考訳（メタデータ） (2024-08-15T16:41:00Z)
• H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables [56.73919743039263]
  本稿では,2段階のプロセスにシンボル的アプローチと意味的アプローチ(テキスト的アプローチ)を統合し,制約に対処する新しいアルゴリズムを提案する。 実験の結果,H-STARは3つの質問応答(QA)と事実検証データセットにおいて,最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-29T21:24:19Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.48389510481758]
  タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:13:53Z)
• Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing Short Text Classification [5.561563686684933]
  短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。 LLM(Large Language Models)とCoT(Chain-of-Thought)の出現により、複雑な推論タスクのパフォーマンスが大幅に向上した。 本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-01-06T08:28:20Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction [12.673710691468264]
  本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。 人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。 実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-11T12:05:01Z)
• Rethinking Word-Level Auto-Completion in Computer-Aided Translation [76.34184928621477]
  Word-Level Auto-Completion (WLAC) はコンピュータ翻訳において重要な役割を果たす。 それは、人間の翻訳者に対して単語レベルの自動補完提案を提供することを目的としている。 我々は、この質問に答えるために測定可能な基準を導入し、既存のWLACモデルがこの基準を満たしていないことを発見する。 評価基準の遵守を促進することによってWLAC性能を向上させる効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:11:46Z)
• UPAR: A Kantian-Inspired Prompting Framework for Enhancing Large Language Model Capabilities [4.223946773134886]
  大規模言語モデル(LLM)における人間の認知構造をエミュレートする枠組みを提案する。 UPARプロンプトフレームワークは、"Understand"、"Plan"、"Act"、"Reflect"の4つのフェーズに分けられる。 GPT-4では、GSM8Kの挑戦的なサブセットで22.92%から58.33%、因果判定タスクで67.91%から75.40%まで精度が向上する。
  論文  参考訳（メタデータ） (2023-09-30T20:18:50Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。