論文の概要: PRISM-MCTS: Learning from Reasoning Trajectories with Metacognitive Reflection

• arxiv url: http://arxiv.org/abs/2604.05424v1
• Date: Tue, 07 Apr 2026 04:37:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.627335
• Title: PRISM-MCTS: Learning from Reasoning Trajectories with Metacognitive Reflection
• Title（参考訳）: PRISM-MCTS:メタ認知反射を用いた推論軌道からの学習
• Abstract要約: PRISM-MCTSは、人間の並列思考と反射過程からインスピレーションを得る新しい推論フレームワークである。 PRISM-MCTSは、成功戦略を強化し、エラーを起こしやすい枝を刈り取ることにより、効果的に改良を実現する。 PRISM-MCTSの有効性を実証的に評価する。
• 参考スコア（独自算出の注目度）: 12.175394636562382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: PRISM-MCTS: Learning from Reasoning Trajectories with Metacognitive Reflection Siyuan Cheng, Bozhong Tian, Yanchao Hao, Zheng Wei Published: 06 Apr 2026, Last Modified: 06 Apr 2026 ACL 2026 Findings Conference, Area Chairs, Reviewers, Publication Chairs, Authors Revisions BibTeX CC BY 4.0 Keywords: Efficient/Low-Resource Methods for NLP, Generation, Question Answering Abstract: The emergence of reasoning models, exemplified by OpenAI o1, signifies a transition from intuitive to deliberative cognition, effectively reorienting the scaling laws from pre-training paradigms toward test-time computation. While Monte Carlo Tree Search (MCTS) has shown promise in this domain, existing approaches typically treat each rollout as an isolated trajectory. This lack of information sharing leads to severe inefficiency and substantial computational redundancy, as the search process fails to leverage insights from prior explorations. To address these limitations, we propose PRISM-MCTS, a novel reasoning framework that draws inspiration from human parallel thinking and reflective processes. PRISM-MCTS integrates a Process Reward Model (PRM) with a dynamic shared memory, capturing both "Heuristics" and "Fallacies". By reinforcing successful strategies and pruning error-prone branches, PRISM-MCTS effectively achieves refinement. Furthermore, we develop a data-efficient training strategy for the PRM, achieving high-fidelity evaluation under a few-shot regime. Empirical evaluations across diverse reasoning benchmarks substantiate the efficacy of PRISM-MCTS. Notably, it halves the trajectory requirements on GPQA while surpassing MCTS-RAG and Search-o1, demonstrating that it scales inference by reasoning judiciously rather than exhaustively.
• Abstract（参考訳）: PRISM-MCTS: Learning from Reasoning Trajectories with Metacognitive Reflection Siyuan Cheng, Bozhong Tian, Yanchao Hao, Zheng Wei Published: 06 Apr 2026, Last Modified: 06 Apr 2026 ACL 2026 Findings Conference, Area Chairs, Reviewers, Publishation Chairs, Authors Revisions BibTeX CC BY 4.0 Keywords: Efficient/Low-Resource Methods for NLP, Generation, Question Answering Abstract: 推論モデルの出現は、OpenAI o1によって実証されたもので、直感的に、デリバティブな認知への転換であり、テスト時間計算のパラダイムへのスケーリング法則を効果的に拡張することを意味する。 Monte Carlo Tree Search (MCTS)はこの領域で有望であるが、既存のアプローチでは各ロールアウトを独立した軌道として扱うのが一般的である。 この情報共有の欠如は、探索プロセスが事前の探索からの洞察を活用できないため、重大な非効率性と相当な計算冗長性をもたらす。 これらの制約に対処するために,人間の並列思考と反射過程からインスピレーションを得る新しい推論フレームワークであるPRISM-MCTSを提案する。 PRISM-MCTSはProcess Reward Model(PRM)と動的共有メモリを統合し、"Huristics"と"Fallacies"の両方をキャプチャする。 PRISM-MCTSは、成功戦略を強化し、エラーを起こしやすい枝を刈り取ることにより、効果的に改良を実現する。 さらに,数発の条件下で高忠実度評価を達成し,PRMのためのデータ効率のトレーニング戦略を開発する。 PRISM-MCTSの有効性を実証的に評価する。 特に、GPQA の軌道要求を MCTS-RAG と Search-o1 を超越し、排他的ではなく司法的推論によって推論をスケールすることを示した。

関連論文リスト

• Empirical-MCTS: Continuous Agent Evolution via Dual-Experience Monte Carlo Tree Search [10.50683307818034]
  Empirical-MCTSは、ステートレス検索を連続的な非パラメトリック学習プロセスに変換するデュアルループフレームワークである。 Inpirical-MCTS はモンテカルロ木探索法とスタンドアロンの体験駆動型エージェントのどちらよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-02-04T06:14:55Z)
• ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation [54.071574153853994]
  ProRAGは、学習段階の監視をオンライン最適化ループに統合するために設計されたプロセス教師付き強化学習フレームワークである。 本フレームワークは,(1)構造化推論形式でモデルを初期化するための監視されたポリシーワームアップ,(2)中間推論品質を定量化するためのMCTSベースのプロセスリワードモデル(PRM)の構築,(3)細粒度プロセスの好みに合わせてポリシーを調整するためのPRM誘導推論リファインメント,(4)プロセススーパービジョン強化学習と2つのグラニュラリティー・アドバンテージ・メカニズムの4段階から構成される。
  論文  参考訳（メタデータ） (2026-01-29T16:04:59Z)
• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• From <Answer> to <Think>: Multidimensional Supervision of Reasoning Process for LLM Optimization [62.07990937720985]
  DRM(Dimension-level Reward Model)は、大規模言語モデルのための新しい監視フレームワークである。 DRMは3つの基本的、相補的、解釈可能な次元に沿って推論プロセスの品質を評価する。 実験の結果、DRMは効果的な監視信号を提供し、LCMの最適化を誘導し、推論能力を向上することが示された。
  論文  参考訳（メタデータ） (2025-10-13T14:29:15Z)
• MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search [61.11836311160951]
  本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。 通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
  論文  参考訳（メタデータ） (2025-03-26T17:46:08Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
  Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。