論文の概要: Safe Meta-Policy Design with Risk Control

• arxiv url: http://arxiv.org/abs/2610.10393v1
• Date: Wed, 07 Oct 2026 16:48:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.057977
• Title: Safe Meta-Policy Design with Risk Control
• Title（参考訳）: リスク制御による安全なメタ政策設計
• Abstract要約: ポリシーモデルは、新しいデータが到着すると再トレーニングされるが、すべての新バージョンのデプロイは、良いポリシーを悪いものに置き換えるリスクがある。 我々は、将来の候補者が訓練される前に政策更新(メタ政治)を計画する方法を研究し、改善の利点とパフォーマンスレグレッションのリスクのバランスをとる。
• 参考スコア（独自算出の注目度）: 7.859779208651594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Models can be retrained as new data arrive, but deploying every new version risks replacing a good policy with a worse one. We study how to plan policy updates (i.e., meta-policy) before future candidates are trained, balancing the benefits of improvement against the risk of performance regression. Our offline meta-policy maximizes expected cumulative value subject to a budget on the expected number of updates that perform worse than the policies they replace. We estimate the value and risk of possible switches from historical learning trajectories, represent an update schedule as a path in a directed acyclic graph, and select a schedule using dynamic programming. A leading-order analysis identifies the signal-to-noise ratio of policy improvement as a key driver of update frequency, waiting times, and risk allocation: clearer improvements support earlier, more frequent updates, while noisier improvements call for longer waits or greater risk expenditure. Their asymptotic rates also reveal a diminishing marginal cost of achieving greater safety over time. Experiments on synthetic and clinical trial data illustrate the performance--risk tradeoff and compare our method with alternative baselines.
• Abstract（参考訳）: 新しいデータが到着すると、モデルは再トレーニングされるが、新しいバージョンをデプロイするたびに、適切なポリシーを悪いものに置き換えるリスクがある。 我々は、将来の候補者が訓練される前に政策更新(メタ政治)を計画する方法を研究し、改善の利点とパフォーマンスレグレッションのリスクのバランスをとる。 当社のオフラインメタ政治は、期待される累積価値を最大化します。 歴史的学習軌跡から可能なスイッチの値とリスクを推定し、更新スケジュールを有向非巡回グラフの経路として表現し、動的プログラミングを用いてスケジュールを選択する。 事前順序分析では、ポリシー改善の信号対雑音比を、更新頻度、待機時間、リスク割り当てのキードライバとして特定している。 彼らの漸近率はまた、時間とともにより大きな安全を達成するための限界費用を減らしていることを示している。 臨床および合成試験データを用いた実験では, リスクトレードオフが示され, 提案手法を代替基準値と比較した。

関連論文リスト

• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Stabilizing Policy Gradients for Sample-Efficient Reinforcement Learning in LLM Reasoning [77.92320830700797]
  強化学習は、大規模言語モデルの推論機能を実現する上で中心的な役割を果たしてきた。 本稿では,ポリシー更新時の曲率情報を追跡し,活用するトラクタブルな計算フレームワークを提案する。 アルゴリズムであるCurvature-Aware Policy Optimization (CAPO)は、不安定な更新に寄与するサンプルを特定し、それらをマスクアウトする。
  論文  参考訳（メタデータ） (2025-10-01T12:29:32Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Divergence-Augmented Policy Optimization [12.980566919112034]
  本稿では,非政治データの再利用時にポリシー最適化を安定化させる手法を提案する。 その考え方は、データを生成する行動ポリシーと現在のポリシーをBregmanに分けて、非政治データによる小規模で安全なポリシー更新を保証する、というものだ。 Atariゲームにおける実証実験により,非政治データの再利用が必要なデータ共有シナリオにおいて,本手法は他の最先端の深層強化学習アルゴリズムよりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-01-25T02:35:46Z)
• Bayesian Inverse Transition Learning for Offline Settings [30.10905852013852]
  強化学習は、医療や教育などの領域におけるシーケンシャルな意思決定に一般的に用いられる。 我々は、遷移力学の後方分布を確実に学習するために、デシダラタを捕捉する新しい制約ベースのアプローチを提案する。 その結果、制約を用いることで、高いパフォーマンスのポリシーを学習し、異なるデータセットに対するポリシーのばらつきを著しく低減することを示した。
  論文  参考訳（メタデータ） (2023-08-09T17:08:29Z)
• Model-based trajectory stitching for improved behavioural cloning and its applications [7.462336024223669]
  トラジェクティブ・スティッチング(TS)は、元のデータで切断された状態のペアを縫い合わせることで、新しいトラジェクトリを生成する。 古い軌道を新しい軌道に置き換える反復的プロセスが、基礎となる行動方針を漸進的に改善することを示した。
  論文  参考訳（メタデータ） (2022-12-08T14:18:04Z)
• Beyond the Policy Gradient Theorem for Efficient Policy Updates in Actor-Critic Algorithms [10.356356383401566]
  強化学習では、ある状態における最適な行動は、その後の状態における政策決定に依存する。 政策勾配定理は, 目標値に対する構造対称性のため, 未学習の遅い政策更新を規定する。 我々は、その欠陥を欠いたポリシー更新を導入し、古典的な仮定で$mathcalO(t-1)$で、グローバル最適性への収束の保証を証明した。
  論文  参考訳（メタデータ） (2022-02-15T15:04:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。