論文の概要: Action Shaping: Policies Absorb What They Can Express

• arxiv url: http://arxiv.org/abs/2609.32752v1
• Date: Sat, 26 Sep 2026 16:18:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:43:30.019788
• Title: Action Shaping: Policies Absorb What They Can Express
• Title（参考訳）: アクションシェイピング:表現できるものを無視するポリシー
• Abstract要約: 私たちはこの実践を行動形成と呼び、その原則を述べます。 トレーニング可能なポリシは、自身の出力層が正確に再現できるオフセットを吸収する。 厳密な再現により、勾配ノイズが流れる平坦な方向が失われ、オフセットの振幅は、取り除く前に、ヘッドを落とすのに何の費用がかかるかを示す。
• 参考スコア（独自算出の注目度）: 16.33230714841034
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reward shaping has a theorem: a potential-based term can be removed without changing the optimal policy. The same practice on the action channel, an offset added in training and dropped at deployment, has no theorem. Nothing cancels an action offset, so the correction is kept at deployment or removed without a guarantee. We call it action shaping and state its principle. A trainable policy absorbs an offset its own output layer can reproduce exactly, which is what we mean by express; what is absorbed can be removed with the return intact. Its minimal instance is a zero-initialized linear head behind a learnable gate, added to an actor that trains through a learned action-value function, with no penalty or schedule. The gate rises and then falls on its own, for deterministic and stochastic actors alike, and on 20 tasks removing the head costs almost nothing. The condition is exact reproduction, not capacity: a nonlinear head with more parameters is not absorbed, and in a paired control, one linear path added to a nonlinear base head restores absorption. Exact reproduction gives the loss a flat direction that gradient noise drifts along, and the offset's amplitude indicates, before removal, what dropping the head will cost. Action shaping thus gains the counterpart of the shaping theorem, a condition for absorption, together with the mechanism behind it and a diagnostic that reads it. Policies absorb what they can express, and only that.
• Abstract（参考訳）: リワード整形は定理を持ち、ポテンシャルに基づく項は最適方針を変更することなく取り除くことができる。 トレーニングで追加され、デプロイ時にドロップされたオフセットであるアクションチャネルでの同様のプラクティスには、定理がありません。 アクションオフセットをキャンセルすることはないので、修正はデプロイ時に保持されるか、保証なしで削除される。 私たちはそれをアクション・シェーピングと呼び、その原則を述べます。 トレーニング可能なポリシーは、その出力層が正確に再現できるオフセットを吸収する。 最小限のインスタンスは、学習可能なゲートの後ろにあるゼロ初期化線形ヘッドであり、学習されたアクション値関数をトレーニングするアクターに追加され、ペナルティやスケジュールがない。 ゲートは上昇し、決定論的で確率的なアクターのために単独で倒れ、20のタスクでヘッドを外すのにほとんど何の費用もかからない。 パラメータが多い非線形ヘッドは吸収されず、ペア制御では、非線形ベースヘッドに追加される1つの線形パスが吸収を回復する。 正確な再現は、勾配ノイズが流れる平坦な方向を与え、オフセットの振幅は、取り除く前に、頭部を落とすのに何の費用がかかるかを示す。 したがって、アクションシェーピングは、その背後にあるメカニズムとそれを読む診断とともに、形状定理、吸収条件の対価を得る。 ポリシーは、表現できるものだけを吸収します。

関連論文リスト

• Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
  強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。 これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
  論文  参考訳（メタデータ） (2026-09-26T21:56:26Z)
• How Simple Can It Get? From Interpretable Equations to Readable Rules for Financial Decision Making [3.3772986620114387]
  金融などの規制領域では、説明できないモデルは配備できない。 我々はこれをより読みやすい形式に段階的に単純化する。 4つのファイナンシャルデータセットで、プルーニングはほぼ自由であり、フィデリティは予測性能よりも高速にエローディングできることがわかった。
  論文  参考訳（メタデータ） (2026-08-10T11:05:25Z)
• Dueling World Models: Advantage-Style Action Channels for Common-Mode Distractor Rejection [2.079922976674856]
  予測の行動に対する平均効果を減じることは、行動が共有するあらゆる行為をキャンセルすることを示します。 グリッドワールドの向こう側には、既知の要因を持つ合成発電機、継続的な制御の妨げ、そして自然ピクセルのアタリがあり、孤立したチャネルはエージェント自身の効果を回復させる。
  論文  参考訳（メタデータ） (2026-08-07T02:02:19Z)
• Abstention as an Action Can Kill Both the Reward Gradient and the KL Anchor: Collapse Law and Repair for Error-Penalized Reinforcement Learning [5.990509154718772]
  誤判定ルール(正解は+1ドル、誤答は$$、棄権は$0ドル)は幻覚に対してますます規定されている。 我々は、KL-anchored学習者が逆のことができることを証明した。
  論文  参考訳（メタデータ） (2026-07-31T21:31:07Z)
• Adaptive state-action abstractions via rate-distortion [52.25810164390199]
  強化学習は、複雑なタスクの単純なバージョンを構築するための複数のテクニックを提供する。 本稿では,抽象化自体によって引き起こされる誤りに匹敵する学習エラーが生じたら,抽象化を洗練させるという原理を提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:10:18Z)
• Support sufficiency as action-sufficient compression: a single-cycle rate-regret formulation [0.0]
  本稿では,アクション・サフィシエント・圧縮としてサポート・サフィシエントを定式化する。 固定$Z$の場合、厳密なアクション十分圧縮はポリシー等価性によるサポート空間の商である。 行動の正確性は、再構築の忠実さ、情報・ブートネック予測、合理的な意図と区別される。
  論文  参考訳（メタデータ） (2026-05-28T14:59:41Z)
• Geometric-Disentangelment Unlearning [106.99160454669902]
  忘れたサンプルへの勾配は しばしば 保持された知識を傷つける 本稿では,GU(Geometric-disment Unlearning)を提案する。 本手法はプラグ・アンド・プレイであり,既存の勾配に基づくアンラーニング手法と併用することで副作用を軽減できる。
  論文  参考訳（メタデータ） (2025-11-21T09:58:25Z)
• Linear Adversarial Concept Erasure [108.37226654006153]
  与えられた概念に対応する線形部分空間の同定と消去の問題を定式化する。 提案手法は, トラクタビリティと解釈性を維持しつつ, 深い非線形分類器のバイアスを効果的に軽減し, 高い表現性を有することを示す。
  論文  参考訳（メタデータ） (2022-01-28T13:00:17Z)
• Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality [74.0084803220897]
  逆行訓練は、逆行性摂動に対する神経網の堅牢性を与える一般的な方法である。 自然仮定とReLUアクティベーションの下で, 指数的ではなく, 低ロバストトレーニング損失に対する収束性を示す。
  論文  参考訳（メタデータ） (2020-02-16T20:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。