論文の概要: Ground-Truth-First Benchmarking of Reinforcement Learning via Converse Optimality: From Smooth, Fully Observed Systems to Non-Smooth or Partially Observed Tasks

• arxiv url: http://arxiv.org/abs/2610.30954v1
• Date: Thu, 22 Oct 2026 09:04:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.296319
• Title: Ground-Truth-First Benchmarking of Reinforcement Learning via Converse Optimality: From Smooth, Fully Observed Systems to Non-Smooth or Partially Observed Tasks
• Title（参考訳）: 逆最適性による強化学習のグランドトルース第一ベンチマーク:スムース・フルオブザーバ・システムから非スムース・部分オブザーバ・タスクへ
• Abstract要約: 強化学習におけるベンチマークは通常相対的であり、アルゴリズムは未知の最適な環境によってランク付けされる。 本研究では,各タスクを最適な値関数で構築し,学習者から支持されない方針を定式化して,逆最適性に基づく基本トラストファーストのフレームワークを開発する。 本研究では,シリアルアーム,動的に拡張された非ホロノミック車両,四輪車に触発されたタスクに対する感度とオラクル関連の比較を定量的に再現した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarking in reinforcement learning is usually relative: algorithms are ranked by returns on environments with unknown optima. Distance to optimality remains unobservable, while conclusions may depend on reward design, stochasticity, hyperparameters, environment selection, and simulator details. We develop a ground-truth-first framework based on converse optimality, constructing each task with a certified optimal value function and policy withheld from learners and used only for evaluation. The framework unifies two modes: sensitivity benchmarking samples certified environments from continuous-time generators to assess robustness to task variation, while oracle-referenced comparison uses native discrete-time generators to evaluate policies via optimality gap, regret, and policy error. Continuous-time models support physically interpretable sensitivity studies but introduce dependence on the simulator step ($Δt$) and numerical scheme. Native discrete-time models align the environment, oracle, and learner on the same transition law, eliminating external integration choices as a confounder. We reproduce quantitative results covering optimizer sensitivity and oracle-referenced comparisons on serial planar arms, dynamically extended nonholonomic vehicles, and quadrotor-inspired tasks. The methodology extends beyond smooth affine Gaussian systems: virtual-input pullback handles non-affine raw-action interfaces and finite-covariance non-Gaussian disturbances. A non-smooth converse optimality formulation enables certified benchmarks with kinked value functions and switching surfaces. For partially observed evaluation, an information-state formulation reduces benchmarking to converse optimality on a sufficient statistic and provides an information-penalty reference. Code, fixtures, and diagnostics are available on the public project page.
• Abstract（参考訳）: 強化学習のベンチマークは通常相対的であり、アルゴリズムは未知の最適条件を持つ環境のリターンによってランク付けされる。 最適性への距離は依然として観測できないが、結論は報酬設計、確率性、ハイパーパラメータ、環境選択、シミュレータの詳細に依存する。 提案手法は,学習者が保持する最適値関数とポリシーを用いて各タスクを構成し,評価にのみ使用される,逆最適性に基づく基本トラストファーストのフレームワークを開発する。 このフレームワークは2つのモードを統一する: 連続時間ジェネレータから認定された環境をベンチマークし、タスクの変動に対する堅牢性を評価する。 連続時間モデルは物理的に解釈可能な感度の研究をサポートするが、シミュレータステップ(Δt$)と数値スキームに依存する。 ネイティブの離散時間モデルは、環境、オラクル、学習者を同じ移行法則で整列させ、共同創設者としての外部統合の選択を排除します。 我々は, 逐次平面アーム, 動的に拡張された非ホロノミック車両, 四重項誘発タスクにおけるオプティマイザ感度およびオラクル参照比較に関する定量的結果を再現した。 仮想インプット・プルバックは非アフィンな原反応インタフェースと有限共分散非ガウス乱を扱う。 非滑らかな逆最適性定式化は、キンク値関数と切替面を持つ認定ベンチマークを可能にする。 部分的に観察された評価のために、情報状態の定式化は、十分な統計量で最適性を逆にするベンチマークを減らし、情報収支基準を提供する。 コード、フィクスチャ、診断は、パブリックプロジェクトのページで入手できる。

関連論文リスト

• Active Pilot Sampling for Multi-fidelity Estimation in Stochastic Optimization [0.0]
  モデル出力共分散行列の確率的エミュレータを学習するアクティブなパイロットサンプリングフレームワークを提案する。 本研究では,この手法を4分岐ベンチマークと多忠実ベイズ最適実験設計アプリケーションで実証する。 その結果, 単繊維モンテカルロに対する最適化性能が向上し, 簡易なパイロットサンプリング戦略が得られた。
  論文  参考訳（メタデータ） (2026-10-20T03:24:57Z)
• Think2Go: Generative Next POI Recommendation with LLM Reasoning [57.37706163990998]
  Next Point-of-Interest (POI)レコメンデーションタスクは、ユーザの行動選好パターンを過去のチェックインからマイニングすることに焦点を当て、次の目的地へのパーソナライズされた提案を提供する。 既存の手法は、次のPOIを予測するために、浅いコンテキスト情報と手作りの特徴相互作用に依存している。 本稿では,SID表現の理解を深め,テスト時間計算による多様な時空間パターンを探索する新しい次世代POIレコメンデーションフレームワークThink2Goを提案する。
  論文  参考訳（メタデータ） (2026-07-31T03:52:20Z)
• Generative Control as Optimization: Time Unconditional Flow Matching for Adaptive and Robust Robotic Control [33.03635235189535]
  動作合成を反復的最適化に変換する時間非条件フレームワークGeCOについて紹介する。 テスト時間推論は、単純な状態に対して収束開始早期に基づいて計算を割り当てる適応的なプロセスとなり、難しい状態に対してはより長く精製する。 我々は,GeCOを標準シミュレーションベンチマークで検証し,pi0シリーズのVision-Language-Action(VLA)モデルにシームレスなスケーリングを示す。
  論文  参考訳（メタデータ） (2026-03-18T15:27:17Z)
• Benchmarking Reinforcement Learning via Stochastic Converse Optimality: Generating Systems with Known Optimal Policies [0.0]
  雑音を伴う離散時間・制御アフィン非線形システムに逆最適性を拡張することで、厳密なベンチマークフレームワークを導入する。 本フレームワークは,所定値関数とポリシが構築システムに最適である,必要かつ十分な条件を提供する。 多様な環境を自動的に構築し、アルゴリズム間で制御され包括的な評価を行うためのフレームワークの能力を示すことによって、それを検証する。
  論文  参考訳（メタデータ） (2026-03-18T11:52:21Z)
• Collaborative Temporal Feature Generation via Critic-Free Reinforcement Learning for Cross-User Sensor-Based Activity Recognition [16.776182784171713]
  ウェアラブル慣性センサーを用いたヒューマンアクティビティ認識は、医療モニタリング、フィットネス分析、コンテキスト認識コンピューティングの基礎となる。 既存のドメインの一般化アプローチは、センサーストリームの時間的依存関係を無視したり、非現実的なターゲットドメインアノテーションに依存したりする。 我々は、強化学習によって制御される協調的な逐次生成プロセスとして、一般化可能な特徴抽出をモデル化する新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-17T01:03:21Z)
• AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition [72.24180896265192]
  本稿では,騒音環境下でのエージェントモデルのロバスト性を評価するためのフレームワークであるAgentNoiseBenchを紹介する。 まず、実世界のシナリオにおけるバイアスと不確実性の詳細な分析を行う。 次に,環境騒音をユーザノイズとツールノイズの2つの主要なタイプに分類する。 この分析に基づいて,既存のエージェント中心ベンチマークに制御可能なノイズを注入する自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2026-02-11T20:33:10Z)
• Not All Preferences Are Created Equal: Stability-Aware and Gradient-Efficient Alignment for Reasoning Models [52.48582333951919]
  ポリシー更新の信号対雑音比を最大化することにより、アライメントの信頼性を高めるために設計された動的フレームワークを提案する。 SAGE(Stability-Aware Gradient Efficiency)は、モデル能力に基づいて候補プールをリフレッシュする粗いきめ細かいカリキュラムメカニズムを統合する。 複数の数学的推論ベンチマークの実験により、SAGEは収束を著しく加速し、静的ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2026-02-01T12:56:10Z)
• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。