論文の概要: When Does Reward Teach State? A Hidden-Automaton Instrument and the Group-Language Boundary

• arxiv url: http://arxiv.org/abs/2607.11953v2
• Date: Wed, 15 Jul 2026 13:05:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 12:21:59.452413
• Title: When Does Reward Teach State? A Hidden-Automaton Instrument and the Group-Language Boundary
• Title（参考訳）: リワード状態はいつになるか : 隠れオートマトンとグループ言語境界
• Abstract要約: 最適なリターンを知ることは自由である。 すべてのステップで正確な潜伏状態を知ることは無料である。 報酬は国家が学んだ証拠ではない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Does a reinforcement-learning agent that earns high reward represent its task's latent state, or only a reward-correlated shortcut? Usually this is unanswerable: the "true state" is undefined. We make it exactly answerable with a white-box instrument: express the task as a hidden deterministic finite automaton (DFA), let the agent observe a symbol stream and intermittently choose the next symbol under partial control, with a sparse terminal reward for acceptance. Knowing the automaton gives two things for free: the optimal return (so reward becomes an interpretable normalized score) and the exact latent state at every step (so we can probe the agent's representation without ever showing it). Reward success and latent-state learning become separately measured quantities whose coupling is governed by three axes. Optimizer strength: under weak on-policy RL the agent can lock onto a reward-shortcut, earning reward with the state probe at chance; whether it escapes is set by optimizer strength, budget, and task structure -- a pre-registered control isolates the optimizer (PPO+GAE), which escapes fastest but only partially and with high seed variance. Task structure: permutation (group-language) structure is a warning sign computable from the transition function before any training, and held out on 153 capacity-controlled fresh automata it flags perception gaps at precision 0.86 (89 of 103), in one direction only. Observation informativeness: a label-free auxiliary is vacuous when observations carry no state and recovers it sharply once they carry any (a threshold, saturating near beta=0.1). The payoff is a distinction reward-only evaluation cannot make: a perception gap (state not linearly recoverable, though representable) versus a planning gap (state recoverable but not exploited). Reward alone cannot localize which; high reward alone is not evidence the state was learned.
• Abstract（参考訳）: 高い報酬を得る強化学習エージェントは、そのタスクの潜在状態を表すのか、それとも報酬に関連のあるショートカットのみを表すのか? 通常、これは解決不可能である:「真の状態」は未定義である。 タスクを隠された決定論的有限オートマトン(DFA)として表現し、エージェントにシンボルストリームを観察させ、部分的な制御の下で次のシンボルを断続的に選択させる。 オートマトンを知ることで、最適なリターン(報酬は解釈可能な正規化スコアになる)と、すべてのステップにおける正確な潜時状態(エージェントの表現を決して示さずに調査できる)という2つの自由な結果が得られる。 逆行成功と潜在状態学習は、結合が3つの軸によって制御される別個の測定量となる。 最適化力: 政治的に弱いRLの下では、エージェントは報酬ショートカットにロックし、偶然に州調査官に報酬を得ることができ、エスケープがオプティマイザの強度、予算、タスク構造によって設定されるか、事前登録された制御はオプティマイザ(PPO+GAE)を分離する。 タスク構造: 置換(グループ言語)構造は、任意のトレーニングの前に遷移関数から計算可能な警告記号であり、153個のキャパシティ制御された新鮮なオートマトン上に保持され、精度0.86(103の89)で認識ギャップを1方向のみにフラグする。 観察情報性: ラベルのない補助装置は、観測が状態を持たないときに空白であり、観測した後に鋭く回復する(しきい値は、ベータ=0.1付近で飽和する)。 認識ギャップ(状態は線形に回復可能であるが、表現可能ではない)と計画ギャップ(状態は回復可能であるが、利用されない)である。 報酬は国家が学んだ証拠ではない。

関連論文リスト

• MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
  MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。 生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
  論文  参考訳（メタデータ） (2026-08-31T16:05:39Z)
• Safety Does Not Compose: Non-Decaying Loop State for Autonomous LLM Agents [16.24087700490158]
  大規模言語モデルエージェントは、自律ループとしてますますデプロイされる。 これは実装の詳細ではなく、構成の失敗であることを示す。 LoopHarnessは、ループレベルでの永続的非遅延安全状態を復元する。
  論文  参考訳（メタデータ） (2026-08-27T13:52:31Z)
• Detecting an Effect Is Not Learning to Act on It: A Reward-SNR Floor for LLM Acquisition Agents [1.5116447879757695]
  パイプラインは、補助的なモデル由来の観測を得るために、サンプル当たりのコストを支払うことができ、取得した信号が使用される価値があるかどうかを判断する必要がある。 このような信号が平均して役に立つことを検出することは、インスタンス毎に行うことを学ぶのと同じではない。 本稿では,各インスタンス毎の取得ポリシーの学習に対する平均効果と,報奨SNR検出能力のフロアを区別して説明する。
  論文  参考訳（メタデータ） (2026-08-11T03:46:23Z)
• A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism [11.543353599329675]
  検証可能な報酬を伴う強化学習は、より強力なエージェントを生み出すことを期待して、監督されたチェックポイントで日常的に実行される。 4Bから8Bのスケールで、小さな言語とビジョン言語モデルWebエージェントにスキルを追加するかどうかを問う。 エージェントがほとんどマスターしたタスクに対して、強力な教師付きベースラインの成功率を確実に改善する構成は存在しない。
  論文  参考訳（メタデータ） (2026-07-14T11:17:35Z)
• The Need for an External Observer Formalizing the Sufficiency Gap: A Mathematical Extension of Mixture Identifiability and Contextual Grounding in Sequence Models [0.0]
  我々は、決定論的テキスト構造と、保存されていない潜在状態によって支配される1つのランダム構造を持つ2元混合登録プロセスを構築した。 結果として生じるエントロピー差は通常の最適化誤差ではない。 補正信号は、その忠実度が誤解を招く状態に割り当てられたテキストのみの後方重みを超えると、テキスト履歴によって引き起こされる後続のオッズを正確に反転させる。
  論文  参考訳（メタデータ） (2026-05-26T08:53:11Z)
• Interpretation, Learning, and Empathy as One Constraint: A Residual-Adequacy Architecture with Accountable Abstention [0.0]
  一つの量から限界が生じる小さな認知アーキテクチャを開発する。 解釈決定ユニット(IDU)は、コンテントベクトルをレギュレーションのファミリを通じて解釈し、ライセンスするアクションを決定する。 任意のコンテンツと固定構成に対して、ユニークな端末証人を持つ有限個の有界コストステップで停止する。
  論文  参考訳（メタデータ） (2026-05-24T10:57:28Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• When Is Rank-1 Steering Cheap? Geometry, Granularity, and Budgeted Search [61.73232505100331]
  アクティベーションステアリングは、再トレーニングせずにLSMを制御する軽量な方法を提供するが、その効果は概念によって大きく異なる。 我々は介入層と係数に対する予算制約付き最適化としてランク1ステアリングを定式化する。 操作困難の原因の診断にアクティベーション幾何を利用するグラニュラリティおよび表現認識概念工学フレームワークである textitGRACE を提案する。
  論文  参考訳（メタデータ） (2026-05-09T14:26:49Z)
• Pando: Do Interpretability Methods Work When Models Won't Explain Themselves? [53.07826484214082]
  モデル・オーガニゼーションのベンチマークであるPandoを紹介します。 Pandoは、ラベル付きクエリ-レスポンスペアから、ホールドアウトモデル決定を予測する。 説明が忠実であれば、ブラックボックスの引用はすべてのホワイトボックスメソッドに一致するか、超える。
  論文  参考訳（メタデータ） (2026-04-13T06:42:24Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)
• Efficient Reinforcement Learning with Impaired Observability: Learning to Act with Delayed and Missing State Observations [92.25604137490168]
  本稿では,制御系における効率的な強化学習に関する理論的研究を紹介する。 遅延および欠落した観測条件において,RL に対して $tildemathcalO(sqrtrm poly(H) SAK)$ という形でアルゴリズムを提示し,その上限と下限をほぼ最適に設定する。
  論文  参考訳（メタデータ） (2023-06-02T02:46:39Z)
• Accelerating Reinforcement Learning with Value-Conditional State Entropy Exploration [97.19464604735802]
  探索のための有望な技術は、訪問状態分布のエントロピーを最大化することである。 エージェントが高価値の状態を訪問することを好むような、タスク報酬を伴う教師付きセットアップで苦労する傾向があります。 本稿では,値条件のエントロピーを最大化する新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-05-31T01:09:28Z)
• Learning One Representation to Optimize All Rewards [19.636676744015197]
  我々は,報酬のないマルコフ決定プロセスのダイナミクスのフォワードバックワード(fb)表現を紹介する。 後尾に指定された報酬に対して、明確な準最適ポリシーを提供する。 これは任意のブラックボックス環境で制御可能なエージェントを学ぶためのステップです。
  論文  参考訳（メタデータ） (2021-03-14T15:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。