論文の概要: Satisfaction Is Not Explanation: Auditing Vacuity and Training Influence in Temporal-Logic-Guided Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.27743v1
- Date: Wed, 23 Sep 2026 11:57:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.006583
- Title: Satisfaction Is Not Explanation: Auditing Vacuity and Training Influence in Temporal-Logic-Guided Reinforcement Learning
- Title（参考訳）: 満足感は説明にならない:時間論理指導強化学習における真空とトレーニングの影響について
- Abstract要約: 時間論理仕様を満たす強化学習政策は、保証論ではなく、試験に合格した。
本稿では,監査層について紹介する。
仕様条項が実際に実行されたか、その役割が強制されたか選択されたか、そして、因果関係をテストする明確な方法が有効であるかどうかを測定する。
- 参考スコア（独自算出の注目度）: 0.33842793760651557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A reinforcement learning policy that satisfies its temporal-logic specification has passed a test, not an assurance argument. The clause that matters to a reviewer may never have mattered to training: it may have been avoided entirely, forced by the environment regardless of what the policy learned, or redundant next to the ordinary task reward. Satisfaction probability and task return cannot tell any of this apart. This paper introduces an audit layer that can. It measures whether a specification clause was actually exercised, whether that role was forced or chosen, and whether the obvious way to test causation, weakening the clause and retraining, is even valid. Often it is not: we prove that comparable weaker/stronger training objectives can share perfect optima under standard acceptance-derived rewards, show related ablation hazards across a large corpus of published specifications, and then show that a properly designed intervention detects the effect it should. Across standard reinforcement learning benchmarks and published external artifacts, the audit layer separates six regimes that a single satisfaction number collapses into one. A policy that satisfies its specification has answered whether. This paper asks why.
- Abstract（参考訳）: 時間論理仕様を満たす強化学習政策は、保証論ではなく、試験に合格した。
評論者にとって重要な条項は、トレーニングにとって決して重要ではなかったかもしれない。それは、政策が何を学んだかに関わらず、環境によって強制されたり、通常のタスク報酬の隣で冗長であったり、完全に回避されたかもしれない。
満足度確率とタスクリターンは、これらを区別することはできない。
本稿では,監査層について紹介する。
これは、仕様条項が実際に実行されたか、その役割が強制されたか選択されたか、そして、因果関係をテストする明確な方法、条項の弱化と再訓練が有効であるかどうかを測定する。
しばしばそうではない: 同等の弱い/強烈な訓練目標が、標準の受容に由来する報酬の下で完璧に最適を共有することを証明し、関連するアブレーションハザードを、発行された仕様の大きなコーパスにわたって示し、適切に設計された介入が、その効果を検出することを示す。
標準的な強化学習ベンチマークと外部アーティファクトを公開するとともに、監査層は、単一の満足度番号が1つに崩壊する6つのレギュレーションを分離する。
仕様を満たすポリシーが回答した。
この論文は理由を尋ねる。
関連論文リスト
- Why2Speak: Faithful Reasoning for Abstaining Action Policies [0.19336815376402716]
我々は,直接的な意思決定方針,推論方針,教師付き微調整,強化学習を比較した。
最強の直接政策はより高い品質を達成するが、検査する理由を示さない。
監視された微調整は、推論を抑えるか、意思決定の質を向上させることなく維持する一方、強化学習は推論ポリシーを改善するのに失敗する。
論文 参考訳（メタデータ） (2026-08-21T02:00:21Z) - An Empirical Study of Reward Specification and Benchmark Reliability in GRPO-based LLM Unlearning [0.0]
未学習は2つの目的により評価される: 目標固有の知識を抑え、非目標ユーティリティを保存する。
ターゲットに隣接したプロンプトが、ターゲット固有のリークを伴わずに、より広い回答を認めた場合、モデルは、リーク、回避、拒否よりも、そのレベルで答えるべきである。
我々は,SFTウォームアップの有無にかかわらず,語彙抑制,反拒絶型シェーピング,ルーリックベース広義回答,明示的拒絶コントラストの4つの報奨設計を比較した。
論文 参考訳（メタデータ） (2026-08-18T14:04:29Z) - Reinforcement Learning with Evolving Rubrics as Rewards for Audio Reasoning [57.5472764796581]
本稿では,自己進化型報酬で音声推論を監督する強化学習フレームワークであるAudioRubricsを紹介する。
AudioRubricsは、サンプルごとのルーブリックを生波形から合成し、モデル自身のロールアウト、再生、グループごとのリウェイト基準で条件付けする。
解析の結果,ジェネレータと判定器の能力でゲインがスケールし,AudioRubricsは安定な推論長に収束し,縮退と成長の両面を回避できることがわかった。
論文 参考訳（メタデータ） (2026-08-03T19:46:13Z) - When benchmark inferences do not compose: Projectibility in AI evaluation [0.0]
AIベンチマークの結果が1ステップで連続的なクレームに達することはめったにない。
評価者はそれをさらなるケースに一般化し、能力の証拠として解釈し、新しいタスクに外挿し、他のシステムやサイトへ輸送する。
保証リンクは保証チェーンを自動的に作らない。
論文 参考訳（メタデータ） (2026-07-28T18:07:04Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。
我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
論文 参考訳（メタデータ） (2026-06-03T09:08:29Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Learning When to Stop: Selective Imitation Learning Under Arbitrary Dynamics Shift [15.576538384279708]
振る舞いのクローン化は、トレーニングとテスト環境が同じダイナミクスを共有するときに、強力な模倣学習を保証する。
多くのデプロイメント環境では、テスト環境の遷移はトレーニングとは異なる。
これは選択的な模倣の研究を動機付けており、学習者は確実に行動できないときに停止することを選択できる。
論文 参考訳（メタデータ） (2026-05-09T21:48:04Z) - The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。
本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
論文 参考訳（メタデータ） (2026-04-18T04:43:40Z) - Learning Domain Adaptive Object Detection with Probabilistic Teacher [93.76128726257946]
確率的教師(PT)と呼ばれる,シンプルで効果的な枠組みを提案する。
PTは、段階的に進化する教師から未ラベルの目標データの不確実性を捉え、相互に有利な方法で生徒の学習を指導することを目的としている。
また,不確実性誘導型自己学習を促進するために,新しいエントロピー・フォカル・ロス(EFL)を提案する。
論文 参考訳（メタデータ） (2022-06-13T16:24:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。