論文の概要: PolicyAttention: Softmax Attention Implements Policy Mirror Descent for Closed-Loop Control
- arxiv url: http://arxiv.org/abs/2609.30500v1
- Date: Thu, 24 Sep 2026 19:37:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.122912
- Title: PolicyAttention: Softmax Attention Implements Policy Mirror Descent for Closed-Loop Control
- Title（参考訳）: 政策アテンション:ソフトマックス・アテンション・インクリメント・ポリシー・ミラー・ディフレクション・ディフレクション・クローズド・ループ・コントロール
- Abstract要約: 負のエントロピーポリシーミラー降下(PMD)は、ステートワイズで$operatornamePMD_(,Q)=operatornamesoftmax(log+Q)$を持つ。
我々は,アクター,ルーティング,サンプリング,正規化を明示した1ステップクリティカルプロトコルを1つの固定因果-ソフトマックスアクター-環境-構築し,それらを実際に返却された残留ポリシーに伝達する。
- 参考スコア（独自算出の注目度）: 1.491109220586182
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Can causal softmax attention implement policy mirror descent as a repeated controller rather than a one-step algebraic identity? Negative-entropy policy mirror descent (PMD) has the statewise update $\operatorname{PMD}_η(π,Q)=\operatorname{softmax}(\logπ+ηQ)$. Building on the known Q-TD-PMD recursion, we construct one fixed causal-softmax actor--environment--one-step-critic protocol with explicit actor, routing, sampling, and normalization residuals, and propagate them to the policy actually returned. The construction states the finite-logit/full-support domain, the external tokenization and sampling boundary, and the mean-zero LayerNorm carrier conditions required by the normalized compilation. Separately trained pre-LN Transformers recover the target computation empirically. A frozen one-step audit model is closest to PMD among the tested fixed rules; in a preregistered five-run $S=4$ repeated-control test, the learned actor with an exact one-step critic reaches median returned-policy loss $1.052\times$ the Exact PMD oracle and retains the criterion across four no-retraining shifts. The same checkpoints with their learned critic give descriptive median $1.050\times$ the oracle (no registered margin). At $S=8$, replacing the exact critic by the learned critic raises median $T=20$ loss to $0.0225$ yet leaves the Liang--Lai and Algorithm Distillation adaptations $20.2$--$24.2\times$ higher-loss; this is a one-sided sampled-critic bound because PolicyAttention consumes 144 generative transitions per round versus 20 on-policy transitions for the adaptations. The strict 20-transition comparison remains open. At $S=8,16$, the exact-critic common-harness comparison remains $17.7$--$28.2\times$ lower-loss than those adaptations, with the information asymmetry stated locally.
- Abstract（参考訳）: 因果的ソフトマックスアテンションは、1ステップの代数的アイデンティティではなく、繰り返しコントローラとしてポリシーミラー降下を実装できるのか?
負エントロピーポリシーミラー降下(PMD)は状態的に更新される$\operatorname{PMD}_η(π,Q)=\operatorname{softmax}(\logπ+ηQ)$である。
既知のQ-TD-PMD再帰に基づいて、1つの固定された因果-ソフトマックスアクター-環境-1ステップクリティカルプロトコルを構築し、明示的なアクター、ルーティング、サンプリング、正規化残差を処理し、実際に返却されたポリシーに伝達する。
この構成では、有限ロジット/フルサポートドメイン、外部トークン化とサンプリング境界、および正規化コンパイルに必要な平均ゼロのLayerNormキャリア条件が記述されている。
個別に訓練されたプレLN変換器は、ターゲット計算を経験的に回復する。
凍結された1段階の監査モデルは、試験された固定された規則の中でPMDに最も近い。事前登録された5ランの$S=4$繰り返し制御テストでは、正確に1ステップの批評家を持つ学習アクターは、中央値のリターンポリチの損失を1.052\times$ the Exact PMD oracleに到達し、4つの制限なしシフトの基準を維持している。
学習した批評家と同一のチェックポイントは、記述的な中央値の1.050\times$ the oracle(登録マージンなし)を与える。
S=8$で、学習批評家による正確な批判は、平均的なT=20$損失を0.0225ドルに引き上げるが、Liang-Lai and Algorithm Distillation Adaptations 20.2$-24.2\times$ higher-loss; PolicyAttentionは1ラウンドあたり144回の生成遷移を消費するため、一方的なサンプル批判境界である。
厳格な20段階比較は未定である。
S=8,16$では、正確な批判的共通ハーネス比較は17.7$--28.2\times$低損失であり、情報非対称性は局所的に記述されている。
関連論文リスト
- A Convergence Framework for Deep $V$-Learning: Error Propagation and Sharp Action-Gap Bounds [0.0]
更新エラーを、フィッティング、遷移再利用、ターゲット構築、リプレイ、アクション選択、探索の6つの残差に分解する。
次数$n-$の統計的誤差境界に対して、最適連続割り当てと、制約された最適値の係数2$以内の整数割り当てを導出する。
これらの結果から, FIFO/インターリーブされたSGDに対して, 厳密な動作スコアを有する固定水平生成-リセット近似-ERM法に対して, 期待されるポリシ-ロス一貫性が得られた。
論文 参考訳（メタデータ） (2026-09-16T15:03:46Z) - Adversarial Resilience of Poisson-Process Submodular Maximization over Matroids: From Robust Offline Optimization to Full-Bandit Learning [55.29259818039367]
オフラインアルゴリズムに任意の制御値オラクルが与えられるとき, 一般のマトロイドに対する非負のサブモジュラー対象について検討する。
本アルゴリズムは,非単調な目的に対して1/e$,単調な目的に対して1/e$の制限係数を保持する。
結果として、オフラインからオフラインへの還元は、一般的なマトロイド制約のサブモジュラー報酬に対するシングルバンドCMABアルゴリズムをもたらす。
論文 参考訳（メタデータ） (2026-08-12T14:54:15Z) - Displacement Is Not Direction: Evaluating Fidelity Metrics for Quantized LLM Deployment [0.7249731529275342]
高精度参照に対するKL偏差(KLD)のような忠実度指標は、ベンチマーク品質の低コストプロキシとして実際に使用されることが多い。
KLDは全コホートに対するベンチマークスコアと強く相関していることがわかった。
しかし、この関係は、ほぼベースラインのサイレントゾーンにおいて非重要な状態に崩壊する。
論文 参考訳（メタデータ） (2026-06-17T19:59:26Z) - The Security Budget of Code-LLM Prompt Hardening: Provable Limits Under Pass-Only Acceptance [0.0]
本稿では,emphTri-Audit Protocolとしてフロアを運用する。このプロトコルは,プロンプト側推論レジストリ属性をモデル側実証ログから分離する2軸レポーティングプロトコルである。
CodeLlama-7B, Qwen2.5-Coder-7B/1.5B and DeepSeek-Coder-6.7B at $n=164$ yields the emphCross-Model Tri-Audit Invariance: of 28 pass-serving rows, 12-changed-of-record learned-can
論文 参考訳（メタデータ） (2026-06-02T08:22:14Z) - Which Defense Closes Which Threat? Attributing OWASP-LLM-Top-10 Coverage and Its Brittleness Under Paraphrasing [51.56484100374058]
プロダクションLLMアプリケーションは、いくつかの防衛ファミリを積み重ねる -- 拒絶フレーズフィルタ、トークンバッジコントロール、モデル許容度リスト、レート制限、ツール登録認証 -- が、BASベンチマークでは、単一の集計カバレッジ番号を報告している。
21エージェントベースラインスキャナに4つのLLM-Top-10対応エージェントを追加し、4つの合成LDMエンドポイントの格子をターゲットとした。
論文 参考訳（メタデータ） (2026-06-01T19:39:25Z) - Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。
我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。
7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文 参考訳（メタデータ） (2026-05-20T15:14:14Z) - The Scaling Law of Evaluation Failure: Why Simple Averaging Collapses Under Data Sparsity and Item Difficulty Gaps, and How Item Response Theory Recovers Ground Truth Across Domains [0.0]
AIと安全クリティカルドメイン間のベンチマーク評価は、圧倒的に単純な平均化に依存している。
2つの条件が共起した場合に、このプラクティスがかなり誤解を招くことを実証する。
論文 参考訳（メタデータ） (2026-05-11T20:17:55Z) - Latent Phase-Shift Rollback: Inference-Time Error Correction via Residual Stream Monitoring and KV-Cache Steering [4.032680910442999]
大規模な言語モデルは、世代中頃の保存不可能な推論エラーを犯す。
我々は、$textbfLatent Phase-Shift Rollback$ (LPSR)を紹介する。
各生成段階において、臨界層リクリットで残留流をモニタリングし、コサイン相似性$+$エントロピー二重ゲートを介して急激な方向逆転(位相シフト)を検出する。
微調整、勾配計算、追加のフォワードパスは不要である。
論文 参考訳（メタデータ） (2026-04-20T17:53:33Z) - Near-optimal Regret Using Policy Optimization in Online MDPs with Aggregate Bandit Feedback [49.84060509296641]
オンライン有限水平マルコフ決定過程を逆向きに変化した損失と総括的帯域幅フィードバック(フルバンド幅)を用いて研究する。
この種のフィードバックの下では、エージェントは、軌跡内の各中間段階における個々の損失よりも、軌跡全体に生じる総損失のみを観察する。
この設定のための最初のポリシー最適化アルゴリズムを紹介します。
論文 参考訳（メタデータ） (2025-02-06T12:03:24Z) - Minimal Expected Regret in Linear Quadratic Control [79.81807680370677]
オンライン学習アルゴリズムを考案し、その期待された後悔を保証します。
当時のこの後悔は、$A$と$B$が未知の場合、$widetildeO((d_u+d_x)sqrtd_xT)$によって上界(i)となる。
論文 参考訳（メタデータ） (2021-09-29T14:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。