論文の概要: Is Monte Carlo Tree Search Just Every-Visit Monte Carlo Control?

• arxiv url: http://arxiv.org/abs/2608.27985v1
• Date: Fri, 28 Aug 2026 06:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.230736
• Title: Is Monte Carlo Tree Search Just Every-Visit Monte Carlo Control?
• Title（参考訳）: モンテカルロの木の探索は、モンテカルロのコントロールに欠かせないのか?
• Authors: Xianyi Wu,
• Abstract要約: Monte Carlo Tree Search と every-visit Monte Carlo control は通常異なる方法として示される。 この注記は、軌跡生成と行動値更新のレベルでは、その区別は概ね用語論的であると主張している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Monte Carlo Tree Search (MCTS) and every-visit Monte Carlo (MC) control are usually presented as different methods. MCTS is described in the language of search (selection, expansion, simulation, and backup), whereas MC control is described in the language of reinforcement learning (trajectory sampling, return estimation, action-value updating, and policy improvement). This note argues that, at the level of trajectory generation and action-value updating, the distinction is largely terminological. The tree policy and rollout policy can be viewed as the learned and not-yet-learned parts of a single evolving policy; expansion corresponds to first visit and initialization; and backup is the ordinary every-visit Monte Carlo update. Under this interpretation, the four stages of MCTS reduce to two basic operations: trajectory sampling under the current policy and every-visit Monte Carlo updating. In this sense, MCTS is simply every-visit Monte Carlo control expressed in the language and data structure of search. The purpose of this note is expository: to make this equivalence explicit and easier to recognize.
• Abstract（参考訳）: Monte Carlo Tree Search (MCTS) と every-visit Monte Carlo (MC) は、通常異なる方法として提示される。 MCTSは検索言語(選択、拡張、シミュレーション、バックアップ)で、MCTSは強化学習言語(軌道サンプリング、回帰推定、アクション値更新、ポリシー改善)で説明される。 この注記は、軌跡生成と行動値更新のレベルでは、その区別は概ね用語論的であると主張している。 ツリーポリシーとロールアウトポリシーは、単一の進化政策の学習と未学習の部分と見なすことができ、拡張は最初の訪問と初期化に対応する。 この解釈の下で、MCTSの4つの段階は2つの基本的な操作に還元される。 この意味で、MCTSは単に検索の言語とデータ構造で表されるモンテカルロの全てのビジット制御である。 このメモの目的は、この同値性を明確にし、認識しやすくすることである。

関連論文リスト

• Modularized Reinforcement Learning on LLMs: From MDP Creation to Exploration and Learning [65.72189367176186]
  この調査はアルゴリズム構築の3段階の検証を整理する。 まず, 報酬関数, 状態空間, 行動空間, 終了条件, 割引係数をどのように定義するか, あるいは, LLMトレーニングで定義することができる。 次に、探索、温度サンプリング、エントロピー正規化、本質的な動機づけ、木探索、カリキュラム学習に目を向けます。
  論文  参考訳（メタデータ） (2026-06-20T08:20:41Z)
• PMCTS: Particle Monte Carlo Tree Search for Principled Parallelized Inference Time Scaling [8.751986657630017]
  我々は、ニューラルネットワークの評価に適し、公式なポリシー改善保証を維持できる第一原理の並列MCTSアルゴリズムであるParticle MCTS(PMCTS)を紹介した。 PMCTSは並列計算とうまくスケールし、一般的なニューラルネットワークのベースラインをドメイン間で大幅に上回る。
  論文  参考訳（メタデータ） (2026-05-09T14:54:07Z)
• Parallelizing Tree Search with Twice Sequential Monte Carlo [7.863528049670872]
  我々はモンテカルロ木探索 (MCTS) アルゴリズムの代替として, TSMCTS (Twice Sequential Monte Carlo Tree Search) を提案する。 TSMCTSは並列化が容易で、GPUアクセラレーションに適している。 TSMCTSは,SMCの並列化を自然にする特性を維持しつつ,逐次計算と良好にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2025-11-18T07:54:29Z)
• Mulberry: Empowering MLLM with o1-like Reasoning and Reflection via Collective Monte Carlo Tree Search [74.46681227410038]
  効率的な推論パス探索と学習のための集合モンテカルロ木探索(CoMCTS)を提案する。 我々はMulberry-260kを構築する。Mulberry-260kはマルチモーダルなデータセットで、各質問に対してリッチで明示的で明確に定義された推論ノードのツリーを持つ。 我々は、o1のようなステップバイステップ推論とリフレクション機能を備えたMLLMの一連のモデルであるMulberryを訓練するために、集合SFTを実行する。
  論文  参考訳（メタデータ） (2024-12-24T10:07:51Z)
• Monte Carlo Search Algorithms Discovering Monte Carlo Tree Search Exploration Terms [4.561007128508218]
  最適化されたモンテカルロ木探索アルゴリズムはPUCTとSHUSSである。 32評価の小さな探索予算に対して、発見されたルート探索条件は両方のアルゴリズムを競合させる。
  論文  参考訳（メタデータ） (2024-04-14T17:06:20Z)
• Accelerating Look-ahead in Bayesian Optimization: Multilevel Monte Carlo is All you Need [5.283807323380133]
  マルチレベルモンテカルロ(MLCBOC)は標準MC収束率を達成することができる。 理論的研究は、2段階および3段階のルックアヘッド獲得関数の近似改善に焦点を当てている。 本研究は数値的に検証し,いくつかのベンチマーク例でBOに対するCBOCの利点を示す。
  論文  参考訳（メタデータ） (2024-02-03T10:24:30Z)
• Combining Normalizing Flows and Quasi-Monte Carlo [0.0]
  近年の機械学習の進歩はモンテカルロ法を改良するための新しい手法の開発に繋がった。 数値実験により,この組み合わせにより,従来のモンテカルロを用いて流れをサンプリングした場合よりも,分散度が著しく低い推定器が得られることを示した。
  論文  参考訳（メタデータ） (2024-01-11T14:17:06Z)
• Sequential Monte Carlo Steering of Large Language Models using Probabilistic Programs [46.721838623748816]
  本研究では,大規模言語モデルの出力に対する構文的制約と意味的制約を強制する新しい推論時手法を提案する。 主要なアイデアは、言語生成タスクを離散確率列モデルのクラスにおける後部推論問題として指定することである。 ビームサーチと同様の計算コストのために、SMCは多様なタスクを解決するためにLSMを操ることができる。
  論文  参考訳（メタデータ） (2023-06-05T17:55:05Z)
• Prompt-Based Monte-Carlo Tree Search for Goal-Oriented Dialogue Policy Planning [22.753613264491918]
  GDP-Zero は Open-Loop MCTS を用いて,モデルトレーニングなしで目標指向の対話ポリシ計画を実行するアプローチである。 我々は、目標指向タスクPersuasionForGood上でGDP-Zeroを評価し、そのレスポンスがChatGPTよりも59.32%の確率で望ましいことを発見した。
  論文  参考訳（メタデータ） (2023-05-23T04:07:03Z)
• Faithful Question Answering with Monte-Carlo Planning [78.02429369951363]
  本稿では,FAME(Fithful Questioning with Monte-carlo planning)を提案する。 我々は,タスクを離散的な意思決定問題として定式化し,推論環境とコントローラの相互作用によって解決する。 FAMEは標準ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-05-04T05:21:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。