論文の概要: Beyond Reward Hacking: Proxy Divergence Across Four Layers of a Staged Humanoid Learning Pipeline
- arxiv url: http://arxiv.org/abs/2610.03196v1
- Date: Fri, 02 Oct 2026 12:10:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.358696
- Title: Beyond Reward Hacking: Proxy Divergence Across Four Layers of a Staged Humanoid Learning Pipeline
- Title（参考訳）: Reward Hackingを超えて: 段階的なヒューマノイド学習パイプラインの4つの層にまたがるプロキシの多様性
- Abstract要約: プロキシから組み立てた脚付きロボットのための強化学習パイプライン。
リワードは意図した行動、カリキュラムゲートは能力、評価統計は堅牢性、参照モーションは達成可能なスキルを示す。
4つ全てが同じ形式的な意味でのプロキシであり、それぞれに特徴的な分岐機構があり、それぞれがそれを閉じる改革を認めている、と私は論じます。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A reinforcement-learning (RL) pipeline for a legged robot is assembled from proxies. A reward stands in for intended behaviour, a curriculum gate stands in for competence, an evaluation statistic stands in for robustness, and a reference motion stands in for an achievable skill. The traditional view treats only the first of these as optimised against, and so locates specification failure (reward hacking) in the reward alone. I argue that all four are proxies in the same formal sense, that each has a characteristic divergence mechanism, and that each admits a reformulation that closes it. For every layer I state the traditional formulation, derive the condition under which it diverges from its target, and give the alternative: first-order (L1) costs where quadratic kernels are flat, peak and outcome statistics where curriculum gates average, gate reachability and information checks, deterministic and phase-desynchronised evaluation, curriculum state treated as part of the model, feasibility-first reference design with residual feed-forward, and function-preserving input widening that lets one policy grow instead of being retrained. The arguments are illustrated by measurements from one continuous lineage of a PPO policy for a simulated 1.91 m humanoid, grown over four stages and 13,500 iterations on a single laptop GPU. Among them, a curriculum gate built on averaged error advanced at its rate limit on every check while the skill it gated was absent, and a batched push test whose synchronised resets aliased the gait phase ranked a 0.5 m/s push as more dangerous than a 2.0 m/s one.
- Abstract（参考訳）: 脚付きロボットのための強化学習(RL)パイプラインをプロキシから組み立てる。
報酬は意図された行動に、カリキュラムゲートは能力に、評価統計は堅牢性に、基準運動は達成可能なスキルに、それぞれ立っている。
従来のビューでは、これらのうち最初に最適化されたもののみを扱うため、報酬だけで仕様の失敗(リワードハック)を見つけることができる。
4つ全てが同じ形式的な意味でのプロキシであり、それぞれに特徴的な分岐機構があり、それぞれがそれを閉じる改革を認めている、と私は論じます。
各層について、従来の定式化を述べ、それがターゲットから分岐する条件を導出し、次の選択肢を与える: 1次(L1)コスト:2次カーネルが平坦な場合、ピークと結果の統計、カリキュラムのゲートの平均値、ゲート到達率と情報チェック、決定論的およびフェーズ不整合評価、モデルの一部として扱われたカリキュラム状態、残留フィードフォワードによるファシビリティファーストリファレンスデザイン、そして1つのポリシーを調整せずに成長させる関数保存入力拡張。
これらの議論は、シミュレーションされた1.91mのヒューマノイドに対するPPOポリシーの1つの連続的な系統からの測定によって説明され、単一のラップトップGPU上で4つのステージと13500のイテレーションで成長した。
そのうち、平均誤差に基づいて作られたカリキュラムゲートは、ゲートされたスキルが欠如している間、チェック毎にレート制限で進行し、同期リセットされたバッチプッシュテストでは、歩行フェーズは2.0m/sよりも0.5m/sのプッシュが危険であった。
関連論文リスト
- DreamQAS: Learning a Decision-Useful World Model for VQE-Efficient Quantum Architecture Search [9.679776057194056]
Reinforcement-learning-based quantum architecture search (RL-QAS) は、回路を拡張した後、繰り返し変動量子固有解器 (VQE) を最適化する。
本稿では、正確な回路力学を保存し、VQE後の高価なフィードバックのみを学習するモデルベースのRLフレームワークであるDreamQASを紹介する。
論文 参考訳（メタデータ） (2026-07-31T14:58:23Z) - REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。
我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
論文 参考訳（メタデータ） (2026-06-17T10:37:23Z) - Back on Track: Aligning Rewards and States for Reasoning in Diffusion Large Language Models [90.09182925511317]
Process Aligned Policy Optimization (PAPO) は、RL更新をdLLMの生成軌道と整合させる新しいフレームワークである。
PAPOはスパース端末の報酬を、高不確実なステップで真の軌道を再生するエントロピー誘導歴史再生(EHR)に変換する。
論文 参考訳（メタデータ） (2026-06-07T07:59:55Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。
因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。
さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
論文 参考訳（メタデータ） (2026-05-14T17:44:10Z) - Beyond Perplexity: A Geometric and Spectral Study of Low-Rank Pre-Training [11.118638230247951]
検証の難易度が近い場合でも,低ランクの手法はフルランクの訓練と同等ではなく,互いに同等ではないことを示す。
低ランクアクティベーションは、トレーニングが進むにつれて、後層のフルランクから分岐し、GaLoreはフルランクを追跡する。
論文 参考訳（メタデータ） (2026-05-13T15:11:37Z) - MindGames Arena Generalization Track: In2AI Solution with Delayed Per-Step Reward Attribution [45.957713330643934]
マルチエージェント戦略相互作用のための言語モデルエージェントの訓練は、中核的な困難をもたらす。
標準的な強化学習では、報酬は各ステップで割り当てられると仮定しているが、この仮定は時間とエージェントの間で結果が絡み合っている環境では失敗する。
我々は,段階ごとの報酬帰属の遅れに,適度ゲーティング,エピソードライフサイクル,後処理パイプラインを導入している。
論文 参考訳（メタデータ） (2026-04-13T23:59:03Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - Lie Detector: Unified Backdoor Detection via Cross-Examination Framework [68.45399098884364]
半正直な設定で一貫したバックドア検出フレームワークを提案する。
本手法は,SoTAベースラインよりも5.4%,1.6%,11.9%の精度で検出性能が向上する。
特に、マルチモーダルな大規模言語モデルにおいて、バックドアを効果的に検出するのは、これが初めてである。
論文 参考訳（メタデータ） (2025-03-21T06:12:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。