論文の概要: Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS

• arxiv url: http://arxiv.org/abs/2411.18478v1
• Date: Wed, 27 Nov 2024 16:19:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:11.252582
• Title: Beyond Examples: High-level Automated Reasoning Paradigm in In-Context Learning via MCTS
• Title（参考訳）: 例を超えて:MCTSによるインコンテキスト学習における高レベル自動推論パラダイム
• Authors: Jinyang Wu, Mingkuan Feng, Shuai Zhang, Feihu Che, Zengqi Wen, Jianhua Tao,
• Abstract要約: HiAR-ICLは特定の例から抽象的な思考パターンへとシフトする。 適切な思考カードと動的に一致する認知複雑性フレームワークを開発する。
• 参考スコア（独自算出の注目度）: 25.640919426478483
• License:
• Abstract: In-context Learning (ICL) enables large language models (LLMs) to tackle downstream tasks through sophisticated prompting and high-quality demonstrations. However, this traditional ICL paradigm shows limitations when facing complex mathematical reasoning tasks, primarily due to its heavy dependence on example quality and the necessity for human intervention in challenging scenarios. To address these limitations, this paper presents HiAR-ICL, a \textbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL} that shifts focus from specific examples to abstract thinking patterns, extending the conventional concept of context in ICL. HiAR-ICL introduces five atomic reasoning actions as fundamental components for constructing chain-structured patterns. Using Monte Carlo Tree Search, we explore reasoning paths and construct thought cards to guide subsequent inference. We then develop a cognitive complexity framework that dynamically matches problems with appropriate thought cards. Experimental results demonstrate HiAR-ICL's effectiveness, achieving state-of-the-art accuracy (79.6$\%$) on the MATH benchmark with Qwen2.5-7B-Instruct, surpassing GPT-4o (76.6$\%$) and Claude 3.5 (71.1$\%$).
• Abstract（参考訳）: In-context Learning (ICL) は、大規模な言語モデル(LLM)が高度なプロンプトと高品質なデモを通じて下流タスクに取り組むことを可能にする。 しかし、この伝統的なICLパラダイムは複雑な数学的推論タスクに直面する際の限界を示しており、主な原因は、実例の品質に大きく依存していることと、挑戦的なシナリオにおける人間の介入の必要性である。 これらの制約に対処するため、本論文では、特定の例から抽象的な思考パターンへ焦点を移し、ICLにおける従来の文脈概念を拡張したHiAR-ICL(Hitextbf{Hi}gh-level \textbf{A}utomated \textbf{R}easoning paradigm in \textbf{ICL})を提案する。 HiAR-ICLは、チェーン構造パターンを構築するための基本的なコンポーネントとして、5つの原子推論アクションを導入している。 モンテカルロ木探索を用いて推論経路を探索し,その後の推論を導くための思考カードを構築する。 次に,問題と適切な思考カードを動的にマッチングする認知的複雑性フレームワークを開発する。 実験の結果、HiAR-ICLの有効性を示し、Qwen2.5-7B-InstructによるMATHベンチマークで最先端の精度 (79.6$\%$) を達成し、GPT-4o (76.6$\%$) と Claude 3.5 (71.1$\%$) を上回った。

関連論文リスト

• Improving Chain-of-Thought Reasoning via Quasi-Symbolic Abstractions [45.950841507164064]
  CoT(Chain-of-Though)は、大規模言語モデルにおける推論のための一般的な戦略である。 準シンボリックな説明を通じて,LLMを高レベルの抽象化で動作させる,CoTのバリエーションであるQuaSARを提案する。 実験の結果,準記号的抽象化はCoT法を最大8%精度で改善できることがわかった。
  論文  参考訳（メタデータ） (2025-02-18T07:58:48Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Boosting Multimodal Reasoning with MCTS-Automated Structured Thinking [24.416534698362643]
  MLLM(Multimodal large language model)は印象的な能力を示すが、複雑な視覚的推論の課題に直面している。 我々はモンテカルロ木探索(MCTS)によるマルチモーダル推論のための自動構造化思考パラダイムであるAStarを提案する。 AStarはMCTSを使った階層構造を用いて、限られたデータから高レベルの認知的推論パターンを自動的に導き出す。
  論文  参考訳（メタデータ） (2025-02-04T14:18:29Z)
• A NotSo Simple Way to Beat Simple Bench [0.0]
  本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。 モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。 クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
  論文  参考訳（メタデータ） (2024-12-12T16:04:31Z)
• Competition Dynamics Shape Algorithmic Phases of In-Context Learning [10.974593590868533]
  In-Context Learning (ICL) は、大規模言語モデルの汎用性を大きく拡張した。 マルコフ連鎖の有限混合をシミュレートする学習を含む合成シーケンスモデリングタスクを提案する。 ファジィ検索と推論のアプローチをユニグラムあるいはビッグラムの統計量と組み合わせた4つの広いアルゴリズムに分解することで、モデルの振る舞いを説明できることを示す。
  論文  参考訳（メタデータ） (2024-12-01T23:35:53Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.48389510481758]
  タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:13:53Z)
• LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning [61.7853049843921]
  Chain-of-Thoughting(CoT)プロンプトは、大規模言語モデル(LLM)のための一般的なコンテキスト内学習手法である。 本稿では、教師なし学習を用いて有理数の潜在空間表現を生成するLaRS(Lalatnt Reasoning Skills)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-07T20:36:10Z)
• Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension [80.99865844249106]
  本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。 具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
  論文  参考訳（メタデータ） (2023-06-21T07:34:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。