論文の概要: A Structural Threshold in Decision Capacity Governs Collapse in Self-Play Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.16315v1
• Date: Mon, 04 May 2026 19:09:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.880887
• Title: A Structural Threshold in Decision Capacity Governs Collapse in Self-Play Reinforcement Learning
• Title（参考訳）: 自己再生強化学習における決定能力低下の構造的閾値
• Authors: Arahan Kujur,
• Abstract要約: 本研究では,非対称な規則摂動の下で自己プレイ強化学習エージェントが崩壊するか否かを,意思決定能力のしきい値が決定することを示す。 ポーカーの変種、行列ゲーム、ダイスゲーム、および複数の学習アルゴリズムをまたがって、全てのポジティブリーチ決定を排除し、決定論的搾取を引き付けるために急速に収束する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that a threshold in decision capacity determines whether self-play reinforcement learning agents collapse under asymmetric rule perturbations. Across poker variants, matrix games, a dice game, and multiple learning algorithms, eliminating all positive-reach contingent decisions causes rapid convergence to a deterministic exploitation attractor, a fixed point at near-maximal loss. Preserving even a single positive-reach contingent decision point prevents this collapse. A frozen baseline and fixed-opponent control confirm that the mechanism is co-adaptation under constraint, not the perturbation itself. The phenomenon is timing-invariant, fully reversible upon action restoration, and intensifies under function approximation. These results establish a sharp threshold at zero reach-weighted contingent action capacity, with severity scaling continuously via reach-weighted capacity in the tested domains.
• Abstract（参考訳）: 本研究では,非対称な規則摂動の下で自己プレイ強化学習エージェントが崩壊するか否かを,意思決定能力のしきい値が決定することを示す。 ポーカーの変種、行列ゲーム、ダイスゲーム、および複数の学習アルゴリズムをまたがって、全てのポジティブリーチ決定を排除し、決定論的搾取引き付け器、すなわちほぼ最大損失の定点への急激な収束を引き起こす。 1つの正の到達決定点さえも保持することは、この崩壊を防ぐ。 凍ったベースラインと固定対向制御は、メカニズムが摂動自体ではなく制約の下で共適応であることを確認する。 この現象はタイミング不変であり、動作回復時に完全に可逆であり、関数近似の下での強化である。 これらの結果は、テスト領域におけるリーチ重み付けされたキャパシティを介して、厳密なスケーリングを連続的に行うことなく、リーチ重み付きアクションキャパシティゼロでシャープしきい値を確立する。

関連論文リスト

• AdaGamma: State-Dependent Discounting for Temporal Adaptation in Reinforcement Learning [13.721410595245894]
  国家依存割引は概念的には魅力的だが、真に深いアクター-批判的な実装は、TDエラーの崩壊に向かって退化することができる。 AdaGammaは、状態依存割引の実践的ディープアクター批判的手法であり、状態依存割引関数をリターン整合性目標とともに学習する。
  論文  参考訳（メタデータ） (2026-05-07T12:42:46Z)
• Neural Control: Adjoint Learning Through Equilibrium Constraints [7.41073008855977]
  トラジェクトリに依存した,メモリ効率のよいプロキシ勾配を演算する境界制御フレームワークを提案する。 本研究では,SPSAやCEMなどの勾配のないベースラインの性能向上を示す。
  論文  参考訳（メタデータ） (2026-05-05T02:19:37Z)
• Ensemble-Based Dirichlet Modeling for Predictive Uncertainty and Selective Classification [1.77898701462905]
  Evidential Deep Learningは、1回のパスで不確実性推定を発生させることで、制限に対処することを目指している。 本研究では、モーメント推定器の手法をソフトマックス出力のアンサンブルに適用することにより、代替のディリクレパラメータ推定戦略を導入する。 これらのアンサンブルから導かれるディリクレ推定の安定性と予測的不確実性は、下流の不確実性誘導アプリケーションにおいてより強い性能に変換されることを示す。
  論文  参考訳（メタデータ） (2026-04-07T16:28:20Z)
• Cognitive Friction: A Decision-Theoretic Framework for Bounded Deliberation in Tool-Using Agents [0.0]
  制約のないツール使用エージェントは、どの情報ソースをクエリして実行するかを決めなければなりません。 本稿では,これらの障害モードを認知的摩擦によって形式化する決定論的枠組みであるTCAを提案する。 我々は,TCAを2つの制御された環境において,停止品質,混雑時の行動選択,時間的緊急性の分離を図った。
  論文  参考訳（メタデータ） (2026-03-31T17:30:25Z)
• Selection as Power: Constrained Reinforcement for Bounded Decision Authority [0.0]
  そこでは,外部に強制された主権制約の下でのスコアリングとリデューサパラメータに強化更新を適用して,インセンティブ付き選択ガバナンスを導入する。 更新ステップ毎に主権の制約が課される場合,学習ダイナミクスは構造的多様性と共存可能であることを示す。 これらの結果は,各更新ステップで主権制約が適用された場合,動的学習が構造的多様性と共存可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-02T16:02:34Z)
• Agentic Uncertainty Quantification [76.94013626702183]
  本稿では,言語化された不確実性をアクティブな双方向制御信号に変換する統合されたデュアルプロセスエージェントUQ(AUQ)フレームワークを提案する。 システム1(Uncertainty-Aware Memory, UAM)とシステム2(Uncertainty-Aware Reflection, UAR)は、これらの説明を合理的な手段として利用し、必要な時にのみターゲットの推論時間解決をトリガーする。
  論文  参考訳（メタデータ） (2026-01-22T07:16:26Z)
• Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
  本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。 我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
  論文  参考訳（メタデータ） (2025-12-01T23:06:56Z)
• Exploiting hidden structures in non-convex games for convergence to Nash equilibrium [62.88214569402201]
  現代の機械学習アプリケーションは、非協調的なナッシュリリアとして定式化することができる。 決定論的環境と決定論的環境の両方に明確な収束保証を提供する。
  論文  参考訳（メタデータ） (2023-12-27T15:21:25Z)
• Anti-Exploration by Random Network Distillation [63.04360288089277]
  ランダムネットワーク蒸留 (RND) の条件付けは, 不確実性推定器として用いるのに十分な識別性がないことを示す。 この制限は、FiLM(Feature-wise Linear Modulation)に基づく条件付けによって回避できることを示す。 D4RLベンチマークで評価したところ、アンサンブルベースの手法に匹敵する性能を達成でき、アンサンブルのない手法よりも広いマージンで性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T13:18:33Z)
• Model-Free Reinforcement Learning with the Decision-Estimation Coefficient [79.30248422988409]
  本稿では,汎用関数近似による構造化帯域と強化学習を包含する対話型意思決定の課題について考察する。 提案手法は,値関数近似を用いたモデル自由強化学習における残差を導出し,より一般的には有効かつ不可能な構造的結果を与える。
  論文  参考訳（メタデータ） (2022-11-25T17:29:40Z)
• On the Complexity of Adversarial Decision Making [101.14158787665252]
  決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。 我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
  論文  参考訳（メタデータ） (2022-06-27T06:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。