論文の概要: Satisfied, Not Solving: Wireheading of Bounded Homeostatic Rewards in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.01183v1
• Date: Sat, 31 Oct 2026 18:30:01 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:21:28.025793
• Title: Satisfied, Not Solving: Wireheading of Bounded Homeostatic Rewards in Reinforcement Learning
• Title（参考訳）: 満足, 解決しない: 強化学習における有界なホメオスタティック・リワードのワイヤーヘッド
• Abstract要約: MiniGrid DoorKey-8x8では、PPO剤は80種中2種、70種中71種、20種中20種に対してKeyCorridorS3R1が0。 DoorKeyでは、正常化が有利な条件下で、エージェントが満たす満足度信号は、どれよりも悪く(タスク報酬のみで解決された20中11、改ざん可能な信号で解決された20中1)、各シードで0.1の圧縮コストがタスクを回復した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Bounded intrinsic rewards are often assumed to be safe from exploitation: if a signal can yield at most a fixed amount, gaming it should not pay. We test this for a homeostatic satiation reward, in which needs build up and relieving them is rewarding, and give the agent a cheap action that resets its needs. In MiniGrid DoorKey-8x8, PPO agents with this action solved 2 of 80 seeds, against 71 of 80 on the same seeds without it; in KeyCorridorS3R1, 0 of 20 against 20 of 20. Their policies stayed near uniform. The reward does not ask for this: a telescoping argument caps any policy's satiation return at the needs' starting drive, and a post-hoc computation shows that, at every growth rate we trained, a solving trajectory beats that cap on all sampled layouts. In DoorKey with advantage normalization on, a satisfaction signal the agent could fill itself was worse than none (11 of 20 solved with task reward alone, 1 of 20 with the tamperable signal), and a per-press cost of 0.1 restored the task in every seed. Farming of positive reward cycles appeared in DoorKey but not persistently in KeyCorridorS3R1. All predictions were pre-registered, and hash-locked from round 3 on; 9 of our 23 hypotheses were not supported, and we report each.
• Abstract（参考訳）: 境界固有の報酬は、しばしば搾取から安全であると仮定される:もし信号が少なくとも一定の金額で得られるなら、ゲームは支払わない。 我々は、これをホメオスタティックな満足報酬としてテストし、それらを積み上げ、それらを救済することは報奨であり、エージェントにそのニーズをリセットする安価なアクションを与える。 MiniGrid DoorKey-8x8では、PPO剤は80種中2種、70種中71種、20種中20種に対してKeyCorridorS3R1が0。 彼らの政策は制服に近づいた。 テレスコープの議論は、ニーズの開始時にポリシーの満足度リターンを制限し、ポストホック計算は、私たちがトレーニングしたすべての成長率において、解決軌道が、すべてのサンプリングされたレイアウトの上限を上回ります。 DoorKeyでは、正常化が有利な条件下で、エージェントが満たす満足度信号は、どれよりも悪く(タスク報酬のみで解決された20中11、改ざん可能な信号で解決された20中1)、各シードで0.1の圧縮コストがタスクを回復した。 DoorKeyでは肯定的な報酬サイクルのファーミングが見られたが、KeyCorridorS3R1では持続的ではなかった。 いずれの予測も事前登録され,第3ラウンドからハッシュロックされ,23仮説のうち9つの仮説が支持されず,それぞれを報告した。

関連論文リスト

• Does a Learned Corrector Beat a Simple Retreat? Evidence from a Frozen VLA [0.0]
  凍結した視覚言語反応(VLA)政策への介入は、通常の実行時から実行時までの変動を超えて成功を改善する。 これらを4つのRoboTwinタスクで評価する。 3,888回のペアエピソードで、完全なパイプラインは beat_allowbreak block_allowbreak ハンマーで +13.5$,pp (95% インターバル $[+9.4,+17.7]$) で成功を収める。 以前のジョイント構成への固定時間トリガとスクリプトリターンは、2ラウンドにわたる学習パイプラインから検出された差のないネットゲインを生成する。
  論文  参考訳（メタデータ） (2026-10-02T21:57:32Z)
• Fine-Tuning on Self-Generated and Reward-Weighted Data: Learning Dynamics, Convergence Rates, and Benefits of Off-Policyness [69.00065140233411]
  REINFORCE -- RE(S) と呼ばれる -- は、$S ge 1$グルーフステップ毎にロールアウト分布を更新する。 我々は、$ ge 1$のスペクトルを網羅するRE(S) の統一理論を開発する。 任意の固定された$S$に対して、RE(S) は、ロールアウト分布の更新数$B = lfloor T / S rfloor rightarrow infty$ として最適ポリシーへの大域収束を楽しむ。
  論文  参考訳（メタデータ） (2026-09-29T07:54:06Z)
• ReCAST: Reward Credit Assignment across Timesteps for Online Diffusion Reinforcement [49.49571101362551]
  本稿では,ReCAST(Reward Credit Assignment across Timesteps)を提案する。 我々は、ReCASTがトレーニング報酬を超えて、その中核となる原則をサポートするために一般化する改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2026-09-11T18:41:09Z)
• Counterfactual Shapley Credit Assignment [49.39649767581182]
  クレディ・アサインメント・問題(CAP)は、効率的かつ説明可能な強化学習(RL)エージェントを開発するための基礎である。 対実共有($-value)を通じて信用と責任を判断する新しい枠組みである対実共有($-value)を導入する。 我々は、$$-valuesを計算し、優先順位付き軌道再生(PTR)と組み合わせた新しいポリシーメソッドのクラス$-PPOを可能にする一貫した推定器を導出する。
  論文  参考訳（メタデータ） (2026-07-18T23:28:20Z)
• Doomed from the Start: Early Abort of LLM Agent Episodes via a Recall-Controlled Probe Cascade [14.63102636181275]
  大規模言語モデル(LLM)エージェントは、既に失敗する運命にある複数ステップの軌道を継続することで、推論計算を無駄にすることが多い。 隠れ状態プローブを用いたLSMエージェントの早期故障予測と推定時早期停止について検討した。 LLMエージェント推論コストを削減するために,この信号をリコール制御された中止カスケードに変換する。
  論文  参考訳（メタデータ） (2026-07-07T17:03:55Z)
• Learning Process Rewards via Success Visitation Matching for Efficient RL [54.67547527674048]
  本稿では,スパース結果報酬を高密度プロセス報酬に変換するための簡単な手法を提案する。 我々のアプローチは、以前の成功と失敗のエピソードを区別するために差別者を訓練することに依存しています。 この報酬は、タスクの成功に対応するものだけでなく、すべての州への訪問に対応するポリシーをインセンティブにすることで、タスク完了に向けた進捗が進められているかどうかについての深いフィードバックを提供する。
  論文  参考訳（メタデータ） (2026-06-22T17:30:24Z)
• Self-Improvement Can Self-Regress: The Rise-and-Collapse Failure Mode of LLM Self-Training [2.743683637024251]
  自己改善は、コードトレーニング後のREINFORCEで自己回帰できる。 本研究は,Qwen-2.5-3BとQwen-2.5-7Bを用いたマルチシードテストベッドで行った。
  論文  参考訳（メタデータ） (2026-06-17T18:03:06Z)
• A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
  報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。 実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。 我々はこの推定が体系的に偏っていることを証明している。
  論文  参考訳（メタデータ） (2026-06-04T09:35:54Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• Prism: Policy Reuse via Interpretable Strategy Mapping in Reinforcement Learning [0.0]
  PRISMは、強化学習エージェントの判断を、個別かつ因果的に検証された概念に基礎付けるフレームワークである。 PRISMは各エージェントのエンコーダをK-means経由で$K$のコンセプトにクラスタする。 概念は戦略を因果的にエンコードするので、最適な二部マッチングを通じてそれらを整列させることは戦略的知識をゼロショットにする。
  論文  参考訳（メタデータ） (2026-03-04T22:51:22Z)
• Spurious Rewards: Rethinking Training Signals in RLVR [130.3484456088909]
  検証可能な報酬(RLVR)を用いた強化学習は,特定のモデルにおいて強い数学的推論を導出できることを示す。 例えば、RLVRはQwen2.5-Math-7BのMATH-500の性能を21.4%向上させた。 コード推論 -- 実際のコード実行なしにコードで考える -- は、RLVR以降、はるかに頻繁になる、独特なQwen2.5-Mathの振る舞いである。
  論文  参考訳（メタデータ） (2025-06-12T17:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。