論文の概要: What Does a ProcGen Generalization Gap Measure? Action Rules, Residual Entropy, and the Missing Random Floor

• arxiv url: http://arxiv.org/abs/2609.32532v2
• Date: Fri, 02 Oct 2026 16:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:29.878223
• Title: What Does a ProcGen Generalization Gap Measure? Action Rules, Residual Entropy, and the Missing Random Floor
• Title（参考訳）: プロジェネレーションギャップは何を測るのか? アクションルール, 残留エントロピー, ミスランダムフロア
• Abstract要約: 強化学習のギャップ、トレーニングレベルのリターンは保持レベルのリターンを減らし、通常は基準点なしで報告される。 我々は、同じ評価ハーネスの下で同じレベルにおける一様ランダムポリシーの返却という、測定されたランダムなフロアに対して読み取るべきであると論じる。
• 参考スコア（独自算出の注目度）: 0.054390204258189995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A generalization gap in reinforcement learning, return on training levels minus return on held-out levels, is usually reported without a reference point. We argue that it should be read against a measured random floor: the return of a uniform-random policy on the same levels under the same evaluation harness. On eight ProcGen environments with PPO at a compute-limited budget (8M steps, 16 parallel environments; three games extended to 25M), the floor changes what standard numbers mean. The test-time action rule decides which policy is measured: in miner, the sampled policy scores 5.1x the floor on held-out levels while its argmax scores below it in every run, and greedy evaluation places two environments significantly below the floor. Used as a convergence diagnostic, raw policy entropy flags six of eight environments, but 32-66% of that entropy lies on actions with identical effects; against the floor, five of eight sampled policies are clearly above it on held-out levels and heist's is not distinguishable from it. An audit of twelve ProcGen codebases finds that nine sample test-time actions with no explicit choice at the evaluation call site. We recommend that every reported gap state its action rule, seed its evaluation and specify its tests before analysis, and report the floor on both level sets.
• Abstract（参考訳）: 強化学習における一般化ギャップ、トレーニングレベルへの戻りは、保持レベルへの帰還を減らし、通常、基準点なしで報告される。 我々は、同じ評価ハーネスの下で同じレベルにおける一様ランダムポリシーの返却という、測定されたランダムなフロアに対して読み取るべきであると論じる。 計算に制限のある予算で8つのProcGen環境(8Mのステップ、16の並列環境、25Mに拡張された3つのゲーム)では、フロアが標準番号の意味を変える。 試験時間動作ルールは、採鉱者において、サンプリングされたポリシーがホールトアウトレベルにおいてフロアを5.1倍、そのargmaxがラン毎にそれより低くスコアし、2つの環境をフロアよりかなり低い位置に配置する。 収束診断として用いられ、生政策のエントロピーフラグは8つの環境のうち6つだが、32-66%のエントロピーは同一効果を持つ行動に依存している。 12のProcGenコードベースの監査では、評価コールサイトで9つのサンプルテストタイムアクションが明示的に選択されていないことがわかった。 報告されたすべてのギャップは、アクションルールを述べ、評価をシードし、分析の前にテストを指定することを推奨し、両方のレベルセットにフロアを報告します。

関連論文リスト

• A First-Principles Evaluation of Graph-Based Network Intrusion Detection Systems [7.608784888435352]
  グラフベースのネットワーク侵入検知システム(GIDS)は、強力なベンチマーク検出指標を報告しているが、これらの指標はデプロイ可能性についてはほとんど確立していない。 我々は,9つの代表的なGIDSを調査し,その中の5つをGIDS-Eval内に再実装し,マッチしたプロトコルの下で4つのデータセット上で評価する。 我々は,同じフレームワーク上に構築されたエンコーダフリーコントロールであるGIDS-Liteを紹介した。
  論文  参考訳（メタデータ） (2026-09-10T22:38:09Z)
• Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity [0.0]
  我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。 これら3つの政策は平均累積差が低く、ウィンドウごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。 サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。
  論文  参考訳（メタデータ） (2026-09-09T06:39:03Z)
• DataFlex-RL: An Evaluation Platform for RLVR Data Policies [11.073211317719393]
  検証可能な報酬を伴う強化学習のためのデータポリシーは、どのロールアウトが使用されるか、どれくらい重み付けされているか、どのドメインがその後のトレーニングバッチに寄与するかを決定する。 我々は、共通のGRPOレシピの下でこれらの選択を比較するための評価プラットフォームであるDataFlex-RLを紹介します。 Qwen2.5-7B-Base と 12 の数学,論理,科学ベンチマークを用いて,12 個のマッチした種子の13 個の構成を評価した。
  論文  参考訳（メタデータ） (2026-09-05T14:04:50Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents [10.767742708000897]
  ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。 現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。 批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
  論文  参考訳（メタデータ） (2026-06-24T08:32:42Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。