論文の概要: Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy

• arxiv url: http://arxiv.org/abs/2606.28433v1
• Date: Fri, 26 Jun 2026 03:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.557257
• Title: Position: RL Researchers Need to Distinguish Between Solving Simulators and Using Simulators as a Proxy
• Title（参考訳）: 位置: RLの研究者たちは、シミュレータの解法とシミュレータをプロキシとして使うこととを区別する必要がある
• Abstract要約: 我々は、強化学習研究者がシミュレータの2つのユースケースを区別する必要があると主張している。 この作業は、コミュニティに対して、彼らが彼らの仕事でシミュレータをどのように使っているかを明確に区別するように呼びかけるものです。
• 参考スコア（独自算出の注目度）: 14.228571575002762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One goal in reinforcement learning (RL) research is to understand general-purpose sequential decision-making, using benchmark simulators as a proxy for learning in deployment settings. When running experiments, however, the goal of achieving high performance in the simulator can mutate into focusing exclusively on solving the simulator. To achieve high scores, researchers may adopt solutions exclusively meant for solving simulators, rather than learning while the agent is deployed outside a simulator. Solving simulators is also worthy of investigation, but it is a fundamentally different RL research question. In this paper, we argue that RL researchers need to distinguish between two use cases of simulators: solving simulators and using simulators as a proxy for learning in deployment. We first discuss how these two use-cases are importantly different, in terms of constraints on how the agent can use the simulator, which algorithms are appropriate, and which evaluation metrics are appropriate. We then highlight several issues and misleading conclusions that can occur by not making the distinction between these two settings clear, supported with examples and simple experiments. This work is a call to the community to begin clearly distinguishing how they are using simulators in their work, hopefully sparking further discussion on which empirical practices work best in each setting.
• Abstract（参考訳）: 強化学習(RL)研究の1つのゴールは、汎用的なシーケンシャルな意思決定を理解することである。 しかし、実験を行う場合、シミュレータの高性能化の目標は、シミュレータの解決にのみ焦点を絞るようになる。 高いスコアを得るために、研究者はシミュレータの外でエージェントがデプロイされている間に学習するよりも、シミュレータを解くこと専用のソリューションを採用するかもしれない。 シミュレータの解法も研究に値するが、RL研究の根本的な違いである。 本稿では、RL研究者がシミュレータの2つのユースケースを区別する必要があることを論じる。 まず、エージェントがシミュレータをどのように利用できるか、どのアルゴリズムが適切か、どの評価基準が適切か、という制約の観点から、これらの2つのユースケースがいかに重要かについて議論する。 次に、これらの2つの設定を区別しないことで起こりうるいくつかの問題と誤解を招く結論を強調します。 この作業は、コミュニティに対して、彼らの仕事でシミュレータをどのように使っているのかを明確に区別するように呼びかけるものです。

関連論文リスト

• Limitations of Automated Simulatability: LLM Simulators Can Bypass Explanations [16.24449973143784]
  Simulatability(シミュラビリティ)は、ユーザがタスクモデルのアウトプットを予測するのにいかに役立つかによって、その有用性を定量化する説明のための評価プロトコルである。 テストされたデータセット、説明ファミリ、シミュレータLLM間でのConSimの説明方法のランキングを再現し、拡張する。 シミュレーターは、説明に頼らずに、直接分類タスクを解くことで、高いシミュラビリティを得ることができることがわかった。
  論文  参考訳（メタデータ） (2026-09-08T11:21:55Z)
• One Frozen Simulator Is Not Enough: Simulator Collapse in Multi-Agent RL [75.34038228759182]
  ヒューマン・AIインタラクションのためのマルチエージェント強化学習は、通常、ユーザの振る舞いをシミュレートするために単一の大きな言語モデルに依存する。 本研究では,本手法が一般化に失敗し,シミュレーション崩壊の失敗を追及することを示す。 推論時に1つ,訓練時に1つの相補的解を提案する。
  論文  参考訳（メタデータ） (2026-08-12T16:55:50Z)
• Learning User Simulators with Turing Rewards [32.70383881352914]
  対話的な環境でのユーザをシミュレートする学習は、エージェントアシスタントのトレーニング、パーソナライズシステムの評価などを促進する可能性がある。 本研究では,ユーザシミュレータモデルをトレーニングするためのチューリングテストに基づく強化学習手法であるチューリング-RLを提案する。
  論文  参考訳（メタデータ） (2026-06-17T17:58:48Z)
• IR-SIM: A Lightweight Skill-Native Simulator for Navigation, Learning, and Benchmarking [59.6657632820611]
  IR-SIMは、迅速なシナリオ構築、ベンチマーク、ロボット学習のために設計された、スキルネイティブなナビゲーションシミュレータである。 シナリオは、モバイルロボットキネマティクス、幾何学的衝突チェック、LiDARセンシング、可視化、行動モジュールを指定するYAML設定ファイルで完全に定義されている。 実験では、複数のタスクにおいてIR-SIMの利便性と汎用性を示す。
  論文  参考訳（メタデータ） (2026-06-07T16:55:37Z)
• Measuring and Mitigating the Distributional Gap Between Real and Simulated User Behaviors [61.610957638373826]
  本研究では,実際のユーザ行動とシミュレーションユーザ行動の分布ギャップを計測する手法を提案する。 実会話とシミュレーション会話のデータセットが与えられた場合,本手法は各会話からユーザ行動の表現を抽出する。 ほとんどのシミュレータも同様に振る舞うが、いくつかは独立している。
  論文  参考訳（メタデータ） (2026-05-08T15:09:25Z)
• Mind the Sim2Real Gap in User Simulation for Agentic Tasks [101.69142591891234]
  ユーザシミュレーションにおけるSim2Realのギャップを形式化し、実際の人間に対して$$$-benchプロトコルを実行する最初の研究を示す。 LLMシミュレータは過度に協調的であり、スタイリスティックに均一であり、現実的なフラストレーションや曖昧さを欠いている。 これらの知見は, LLMベースのユーザシミュレータをエージェント開発サイクルで使用する際の人間による検証の重要性を強調した。
  論文  参考訳（メタデータ） (2026-03-11T19:12:31Z)
• SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants? [61.07963107032645]
  大規模言語モデル(LLM)は、対話型アプリケーションでますます使われている。 人間の評価は、マルチターン会話におけるパフォーマンスを評価するためのゴールドスタンダードのままである。 我々は、909の注釈付き人間とLLMの会話を2つの対話タスクで行うベンチマークであるSimulatorArenaを紹介した。
  論文  参考訳（メタデータ） (2025-10-06T23:17:44Z)
• Simulator Ensembles for Trustworthy Autonomous Driving Testing [2.2956072509238123]
  MultiSimは、検索ベースのテストアプローチに基づくマルチシミュレートADASテストの新しいアプローチである。 平均して3.4倍以上のシミュレータに依存しない故障テストと高い故障率を識別する。 以上の結果から,探索における代理モデルの利用は,有効失敗数の平均を保ち,効率も向上することが示された。
  論文  参考訳（メタデータ） (2025-03-11T22:34:14Z)
• Learning Optimal Decision Making for an Industrial Truck Unloading Robot using Minimal Simulator Runs [15.208516853395453]
  私たちのような高忠実なロボットシミュレータのほとんどは、時間がかかる。 トラックの降ろし問題に対して, 実験により, シミュレーター走行の大幅な削減が達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-03-13T06:22:23Z)
• A User's Guide to Calibrating Robotics Simulators [54.85241102329546]
  本稿では,シミュレーションで学習したモデルやポリシーを現実世界に伝達することを目的とした,様々なアルゴリズムの研究のためのベンチマークとフレームワークを提案する。 我々は、様々なアルゴリズムの性能に関する洞察を特徴付け、提供するために、広く知られたシミュレーション環境の実験を行う。 我々の分析は、この分野の実践者にとって有用であり、sim-to-realアルゴリズムの動作と主特性について、より深い選択をすることができる。
  論文  参考訳（メタデータ） (2020-11-17T22:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。