論文の概要: Certified Safety Curation: Distribution-Free Guarantees for Safe Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.12014v1
• Date: Thu, 10 Sep 2026 06:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.489759
• Title: Certified Safety Curation: Distribution-Free Guarantees for Safe Offline Reinforcement Learning
• Title（参考訳）: 安全なオフライン強化学習のための配当不要保証制度
• Abstract要約: Filter-then-cloneパイプライン: セグメント比較からトレーニングされた状態のみの値が、すべてのトラジェクトリをスコアする。 我々は、オフラインのRLや模倣のためのトレーニングセットの構成を認定する事前の作業について知りません。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safe offline reinforcement learning assumes a cost function on every transition. We ask what remains possible when safety can be judged only by comparing short clips and occasionally asking whether an episode exceeded its budget. Certified safety curation answers with a filter-then-clone pipeline: a state-only value trained from segment comparisons scores whole trajectories, Learn-then-Test calibration certifies a selection threshold under a distribution-free $(α, δ)$ bound on the unsafe fraction of the selection, and behavior cloning follows. We are not aware of prior work certifying the composition of a training set for offline RL or imitation. Oracle controls justify the design: reweighting individual transitions fails even with an exact value, so the value selects whole trajectories. The policies satisfy the cost budget on eleven of fifteen DSRL tasks, one short of cloning the ground-truth safe subset, which needs a label on every trajectory; the uncertified variant reaches twelve. Retrained on the certified selection, the strongest full-label method becomes safe where no setting of its own cost target rescues it. Refusal is predictable: the certificate's probability has a closed form in the purity the pool attains, which the calibration sample estimates and the scorer enters only through.
• Abstract（参考訳）: 安全なオフライン強化学習は、移行毎にコスト関数を仮定する。 短いクリップを比較し、時折エピソードが予算を超えたかどうかを問うことで、安全が判断可能かどうかを問う。 セグメント比較からトレーニングされた状態のみの値がトラジェクトリ全体をスコアし、Learning-then-Testキャリブレーションは、選択の安全でない割合で束縛された分布自由$(α, δ)$の下で選択しきい値を認定し、以下の行動クローニングを行う。 我々は、オフラインのRLや模倣のためのトレーニングセットの構成を認定する事前の作業について知りません。 個々のトランジションの再重み付けは、正確な値でも失敗するため、その値は、すべてのトラジェクトリを選択する。 政策は15のDSRLタスクのうち11のコスト予算を満たす。1つは、すべての軌道にラベルを必要とする、地道安全なサブセットのクローンの1つに過ぎず、未認証の変種は12に達する。 認定された選択に基づき、最強のフルラベル法は、コスト目標の設定がない場合に安全になる。 証明書の確率はプールが得る純度において閉じた形を持ち、キャリブレーションサンプルが推定し、スコアラーが通過するのみである。

関連論文リスト

• Reversibility-Verified De-identification for Cloud-Local LLM Inference: A Locally Certified Dehydrate-Rehydrate Loop with Layered Assurance (DR-SL) [1.802678437602184]
  DR-SL (Dehydrate-Rehydrate with Self-Learning loop) は、脱同定完全性を2つの測定可能な条件として定式化する。 完全局所二分岐検証器は、終了が保証されたレキソグラフィゲートの下で脱水を繰り返す。 ファノ型の低い境界、フグの目撃者、そしてレート・プライバシ・フィージビリティの基準を証明し、その範囲を明確化します。
  論文  参考訳（メタデータ） (2026-09-14T01:04:58Z)
• Cost-Aware Post-Hoc Deferral Under Calibration and Shift: An Environmental AI Case Study [2.9152186617858304]
  本研究では,6グループ誤りリスク推定器,クラス非対称コスト,レビュア精度,オプションサポートゲートを用いて,自動動作とレビュー結果の比較を行う。 12のオフザシェルフバックエンド、学習リスク、キャリブレーションに適合したクラス対応の信頼度推定器、それぞれが生のChowを6回打ち負かしている。 10の川駅に乗り換えると、ゲートは全てのケースにフラグを付け、常に見直されるフォールバックとなり、レビューが完璧で制約のない場合にのみ8つの駅で最低コストに達する。
  論文  参考訳（メタデータ） (2026-09-07T23:09:35Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• When Does Learning to Stop Help? A Cost-Aware Study of Early Exits in Reasoning Models [4.8190992438931035]
  LearnStopは、プレフィックスオブザーバブルな機能の上に隠された状態のないロジスティックストッパーである。 学習は、答えが振動し、正しさの証拠が広がる場所を給与する。 コスト計算は、KVキャッシュでトークンを32%節約するのと同じ方針で、ブラックボックスの繰り返しプリフィルで121%余分なコストがかかる。
  論文  参考訳（メタデータ） (2026-06-29T19:33:42Z)
• Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
  セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。 最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。 代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
  論文  参考訳（メタデータ） (2026-05-21T09:19:23Z)
• MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents [0.0]
  検索強化エージェントに対するメモリ中毒攻撃を,統合評価フレームワークを用いたStackelbergゲームとして定式化する。 ASR-R: 0.25〜1.00$) による攻撃成功度を4倍に向上させる。 私たちの主な貢献は、勾配結合に接地したキャリブレーションに基づく防御であるMEMSADである。
  論文  参考訳（メタデータ） (2026-05-05T08:15:41Z)
• Evaluating Prompt Injection Defenses for Educational LLM Tutors: Security-Usability-Latency Trade-offs [51.56484100374058]
  ガードレールの設計には、敵の堅牢性、良質なタスクのユーザビリティ、応答レイテンシの明確なトレードオフが伴う。 決定論的パターンフィルタ,構造検証,コンテキストサンドボックス,セッションレベルの動作チェックを組み合わせた,ドメイン固有のマルチレイヤセーフガードパイプラインの評価を行った。 NeMoは16.22パーセントのFPRと1.5パーセントのレイテンシで0パーセントのバイパスに達し、Prompt Guardは38.48パーセントのFPRと3.60パーセントのバイパスを実現している。
  論文  参考訳（メタデータ） (2026-03-29T18:52:01Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
  機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。 任意の関数に対するランダム化スムージングの統一的なビューを示す。 本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-07T21:28:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。