論文の概要: Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

• arxiv url: http://arxiv.org/abs/2411.18478v1
• Date: Wed, 27 Nov 2024 16:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 15:52:53.742129
• Title: Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS
• Title（参考訳）: 例を超えて:MCTSによるインコンテキスト学習における高レベル自動推論パラダイム
• Authors: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Feihu Che, Zengqi Wen, Jianhua Tao,
• Abstract要約: HiAR-ICLは特定の例から抽象的な思考パターンへとシフトする。 適切な思考カードと動的に一致する認知複雑性フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 25.640919426478483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In-context Learning (ICL) enables large language models (LLMs) to tackle downstream tasks through sophisticated prompting and high-quality demonstrations. However, this traditional ICL paradigm shows limitations when facing complex mathematical reasoning tasks, primarily due to its heavy dependence on example quality and the necessity for human intervention in challenging scenarios. To address these limitations, this paper presents HiAR-ICL, a \textbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL} that shifts focus from specific examples to abstract thinking patterns, extending the conventional concept of context in ICL. HiAR-ICL introduces five atomic reasoning actions as fundamental components for constructing chain-structured patterns. Using Monte Carlo Tree Search, we explore reasoning paths and construct thought cards to guide subsequent inference. We then develop a cognitive complexity framework that dynamically matches problems with appropriate thought cards. Experimental results demonstrate HiAR-ICL's effectiveness, achieving state-of-the-art accuracy (79.6$\%$) on the MATH benchmark with Qwen2.5-7B-Instruct, surpassing GPT-4o (76.6$\%$) and Claude 3.5 (71.1$\%$).
• Abstract（参考訳）: In-context Learning (ICL) は、大規模な言語モデル(LLM)が高度なプロンプトと高品質なデモを通じて下流タスクに取り組むことを可能にする。 しかし、この伝統的なICLパラダイムは複雑な数学的推論タスクに直面する際の限界を示しており、主な原因は、実例の品質に大きく依存していることと、挑戦的なシナリオにおける人間の介入の必要性である。 これらの制約に対処するため、本論文では、特定の例から抽象的な思考パターンへ焦点を移し、ICLにおける従来の文脈概念を拡張したHiAR-ICL(Hitextbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL})を提案する。 HiAR-ICLは、チェーン構造パターンを構築するための基本的なコンポーネントとして、5つの原子推論アクションを導入している。 モンテカルロ木探索を用いて推論経路を探索し,その後の推論を導くための思考カードを構築する。 次に,問題と適切な思考カードを動的にマッチングする認知的複雑性フレームワークを開発する。 実験の結果、HiAR-ICLの有効性を示し、Qwen2.5-7B-InstructによるMATHベンチマークで最先端の精度 (79.6$\%$) を達成し、GPT-4o (76.6$\%$) と Claude 3.5 (71.1$\%$) を上回った。

関連論文リスト

• From Chaos to Order: The Atomic Reasoner Framework for Fine-grained Reasoning in Large Language Models [46.02816479205161]
  我々は,微粒な推論を可能にする認知推論戦略であるtextbfAtomic Reasoner(textbfAR)を提案する。 ARは推論プロセスを原子認知単位に分解し、認知的ルーティング機構を使用する。 結果より, 完全解探索の計算負担を伴わないARの優れた推論能力を示す。
  論文  参考訳（メタデータ） (2025-03-20T08:34:53Z)
• Graph-Augmented Reasoning: Evolving Step-by-Step Knowledge Graph Retrieval for LLM Reasoning [55.6623318085391]
  最近の大規模言語モデル(LLM)推論は、限られたドメイン知識、幻覚への感受性、制約された推論深さに悩まされている。 本稿では、ステップワイズ知識グラフ検索とステップワイズ推論の統合に関する最初の研究について述べる。 本稿では,プロセス指向の知識グラフ構築を中心としたフレームワークであるKG-RAR,階層的検索戦略,検索後処理と報酬モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-03T15:20:41Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking [24.416534698362643]
  MLLM(Multimodal large language model)は印象的な能力を示すが、複雑な視覚的推論の課題に直面している。 我々はモンテカルロ木探索(MCTS)によるマルチモーダル推論のための自動構造化思考パラダイムであるAStarを提案する。 AStarはMCTSを使った階層構造を用いて、限られたデータから高レベルの認知的推論パターンを自動的に導き出す。
  論文  参考訳（メタデータ） (2025-02-04T14:18:29Z)
• A NotSo Simple Way to Beat Simple Bench [0.0]
  本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。 モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。 クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
  論文  参考訳（メタデータ） (2024-12-12T16:04:31Z)
• Competition Dynamics Shape Algorithmic Phases of In-Context Learning [10.974593590868533]
  In-Context Learning (ICL) は、大規模言語モデルの汎用性を大きく拡張した。 マルコフ連鎖の有限混合をシミュレートする学習を含む合成シーケンスモデリングタスクを提案する。 ファジィ検索と推論のアプローチをユニグラムあるいはビッグラムの統計量と組み合わせた4つの広いアルゴリズムに分解することで、モデルの振る舞いを説明できることを示す。
  論文  参考訳（メタデータ） (2024-12-01T23:35:53Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Inductive Learning of Logical Theories with LLMs: A Complexity-graded Analysis [9.865771016218549]
  本研究は,Large Language Models(LLM)の機能と限界を分析するための,新しい体系的方法論を提案する。 この分析は、LLM性能に関する特定の推論課題の定量化を可能にする、複雑性グレードのw.r.t.ルール依存構造である。
  論文  参考訳（メタデータ） (2024-08-15T16:41:00Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.48389510481758]
  タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:13:53Z)
• Quartet Logic: A Four-Step Reasoning (QLFR) framework for advancing Short Text Classification [5.561563686684933]
  短いテキスト分類(STC)は、現代デジタルプラットフォームで広く普及している短いが実質的な内容の処理と理解に不可欠である。 LLM(Large Language Models)とCoT(Chain-of-Thought)の出現により、複雑な推論タスクのパフォーマンスが大幅に向上した。 本稿では、Quartet Logic: A Four-Step Reasoning (QLFR)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-01-06T08:28:20Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• LLMs Learn Task Heuristics from Demonstrations: A Heuristic-Driven Prompting Strategy for Document-Level Event Argument Extraction [12.673710691468264]
  本稿では,Huristic-Driven Link-of-Alogy (HD-LoA)を導入し,サンプル選択の課題に対処する。 人間の類推的推論にインスパイアされ,LLMが新たな状況に対処できるリンク・オブ・アナロジー・プロンプトを提案する。 実験により,本手法は文書レベルのAEデータセット上で,既存のプロンプト手法や数発の教師付き学習手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-11-11T12:05:01Z)
• Rethinking Word-Level Auto-Completion in Computer-Aided Translation [76.34184928621477]
  Word-Level Auto-Completion (WLAC) はコンピュータ翻訳において重要な役割を果たす。 それは、人間の翻訳者に対して単語レベルの自動補完提案を提供することを目的としている。 我々は、この質問に答えるために測定可能な基準を導入し、既存のWLACモデルがこの基準を満たしていないことを発見する。 評価基準の遵守を促進することによってWLAC性能を向上させる効果的な手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:11:46Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。