論文の概要: What Does a ProcGen Generalization Gap Measure? Action Rules, Convergence, and the Missing Random Floor

• arxiv url: http://arxiv.org/abs/2609.32532v1
• Date: Sat, 26 Sep 2026 12:14:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:29.877236
• Title: What Does a ProcGen Generalization Gap Measure? Action Rules, Convergence, and the Missing Random Floor
• Title（参考訳）: ProcGenの一般化ギャップは何を測るのか?アクションルール、収束度、ミスランダムフロア
• Abstract要約: 強化学習における一般化ギャップは通常、基準点なしで報告される。 欠落した参照は無作為なフロアであると主張する。 ProcGenでは、フロアがいくつかの標準番号の意味を変える。
• 参考スコア（独自算出の注目度）: 0.054390204258189995
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A generalization gap in reinforcement learning (return on training levels minus return on held-out levels) is usually reported without a reference point. We argue that the missing reference is a measured random floor: the return of a uniform-random policy on the same levels under the same harness. On ProcGen, the floor changes what several standard numbers mean. On identical checkpoints and levels across eight environments, switching between sampled and greedy (argmax) test-time actions moves held-out return in both directions, and greedy evaluation takes three environments to or below the floor: in miner, the sampled policy scores 4.9x the floor on held-out levels while its argmax scores below it. Raw policy entropy places seven of eight environments short of convergence, but 35-65% of that entropy is spread across actions with identical effects; after merging them, one to three remain short, and against the floor only heist has learned nothing that transfers. An audit of twelve prior ProcGen codebases finds that all eleven with held-out evaluation sample test-time actions for their policy-gradient agents, nine by default rather than explicit choice, and six report running in-loop averages rather than evaluating a fixed checkpoint. Applied to our own case study, the same checks grade down a statistically significant encoder effect and rule out a within-encoder train-vs-test CKA statistic. We recommend that every reported gap state its action rule, use a matched and seeded protocol, and report the random floor on both level sets.
• Abstract（参考訳）: 強化学習における一般化のギャップ(学習水準の戻りは保持レベルに比例する)は、基準点なしで報告されるのが普通である。 我々は、欠落した参照は、同じハーネスの下で同じレベルにおける一様ランダムポリシーの返却である、無作為なフロアであると主張する。 ProcGenでは、フロアがいくつかの標準番号の意味を変える。 8つの環境にまたがる同一のチェックポイントとレベルでは、サンプルとgreedy(argmax)テストタイム動作の切り替えは、両方の方向で保留されたリターンを移動し、greedy評価は3つの環境をフロアから床下まで、または床下まで取り込む。 生政策のエントロピーは8つの環境のうち7つが収束に近づいていないが、そのエントロピーの35-65%は同じ効果で作用を広げている。 以前の12のProcGenコードベースの監査では、ポリシー段階のエージェントに対して、保持された評価済みのサンプルテストタイムアクションが11つ、明示的な選択ではなくデフォルトで9つ、固定されたチェックポイントを評価するのではなく、ループ内平均を実行している6つのレポートが見つかった。 我々のケーススタディでは、同じチェックが統計的に重要なエンコーダ効果を格付けし、エンコーダ内部のトレインvs-test CKA統計を除外する。 報告されたすべてのギャップは、そのアクションルールをステートし、一致したおよびシードされたプロトコルを使用し、両方のレベルセットにランダムなフロアを報告することを推奨する。

関連論文リスト

• A First-Principles Evaluation of Graph-Based Network Intrusion Detection Systems [7.608784888435352]
  グラフベースのネットワーク侵入検知システム(GIDS)は、強力なベンチマーク検出指標を報告しているが、これらの指標はデプロイ可能性についてはほとんど確立していない。 我々は,9つの代表的なGIDSを調査し,その中の5つをGIDS-Eval内に再実装し,マッチしたプロトコルの下で4つのデータセット上で評価する。 我々は,同じフレームワーク上に構築されたエンコーダフリーコントロールであるGIDS-Liteを紹介した。
  論文  参考訳（メタデータ） (2026-09-10T22:38:09Z)
• Evaluating Model Retraining under Drift: Paired Comparisons of Cumulative Subgroup Disparity [0.0]
  我々は、スケジュール、損失トリガー、サブグループギャップトリガーされたポリシーを、同じ観測と遅延ラベルに対する初期モデルを維持することで比較する。 これら3つの政策は平均累積差が低く、ウィンドウごとの平均ギャップにおける0.04から0.88ポイントの減少に相当する。 サブグループ特異的なドリフトでは, 両者の感度が低下し, より小さな真正レートギャップが認められた。
  論文  参考訳（メタデータ） (2026-09-09T06:39:03Z)
• DataFlex-RL: An Evaluation Platform for RLVR Data Policies [11.073211317719393]
  検証可能な報酬を伴う強化学習のためのデータポリシーは、どのロールアウトが使用されるか、どれくらい重み付けされているか、どのドメインがその後のトレーニングバッチに寄与するかを決定する。 我々は、共通のGRPOレシピの下でこれらの選択を比較するための評価プラットフォームであるDataFlex-RLを紹介します。 Qwen2.5-7B-Base と 12 の数学,論理,科学ベンチマークを用いて,12 個のマッチした種子の13 個の構成を評価した。
  論文  参考訳（メタデータ） (2026-09-05T14:04:50Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• When Can You Trust Offline Evaluation of Equal-Cost Top-k Allocation? A Controlled, Reproducible Benchmark and Practitioner's Guide [0.0]
  5つのデータセットと2つの既知のエフェクトスイープにまたがる6つの推定器をベンチマークし、非シミュレートされたペア参照に対してそのメカニズムを検証する。 ターゲット自身のスコアからロガーをシャープすると、テスト対象範囲をわずかにオーバーラップし、アクションレベルの不一致が崩壊する。 結果のニュアンスのみを適合させることは、再利用バイアスをその場に残し、それを悪化させます。
  論文  参考訳（メタデータ） (2026-08-12T18:10:10Z)
• BiPACE: Bisimulation-Guided Policy Optimization with Action Counterfactual Estimation for LLM Agents [10.767742708000897]
  ステップワイズグループベースのRLは、学習評論家なしで長期のLDMエージェントを訓練する魅力的な方法である。 現在のエージェントの変種は、状態-アクションの信用ミスマッチによってこの仮定に反することを示す。 批判や補助的な損失、余分なロールアウトを加えることなく、双方を修正できる、ドロップインの利点推定ツールであるBiPACEを紹介します。
  論文  参考訳（メタデータ） (2026-06-24T08:32:42Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Conformal Off-Policy Evaluation in Markov Decision Processes [53.786439742572995]
  強化学習は、データから効率的な制御ポリシーを特定し評価することを目的としている。 この学習タスクのほとんどの方法は、Off-Policy Evaluation (OPE)と呼ばれ、正確さと確実性を保証するものではない。 本稿では,目標方針の真報を含む区間を所定の確信度で出力するコンフォーマル予測に基づく新しいOPE手法を提案する。
  論文  参考訳（メタデータ） (2023-04-05T16:45:11Z)
• Detecting Rewards Deterioration in Episodic Reinforcement Learning [63.49923393311052]
  多くのRLアプリケーションでは、トレーニングが終了すると、エージェント性能の劣化をできるだけ早く検出することが不可欠である。 我々は,各エピソードにおける報酬が独立でもなく,同一に分散した,マルコフでもない,エピソード的枠組みを考察する。 平均シフトは、時間信号の劣化(報酬など)に対応する方法で定義し、最適な統計的パワーでこの問題の試行を導出する。
  論文  参考訳（メタデータ） (2020-10-22T12:45:55Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。