論文の概要: Auditability Is Not One Property: Rule Overlap, Behavioural Agreement, and Composition in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.28581v1
• Date: Wed, 23 Sep 2026 13:11:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.420812
• Title: Auditability Is Not One Property: Rule Overlap, Behavioural Agreement, and Composition in Reinforcement Learning
• Title（参考訳）: オーディタビリティは1つの特性ではない - ルールオーバーラップ、行動合意、強化学習における構成
• Abstract要約: 強化学習(RL)ポリシーは、しばしば不透明な神経チェックポイントとして配布される。 独立して訓練された政策が、監査可能な個別の行動規則によって表現され、構成できるかどうかを考察する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement-learning (RL) policies are often distributed as opaque neural checkpoints, while training logs show that a run occurred without explaining what the policy learned. We study whether independently trained policies can be represented and composed through auditable discrete behavioral rules. We define auditability as six separately testable predicates: trace integrity, lossless coding, rule coverage, behavioral agreement, composition quality, and value-model reliability. Our protocol uses a shared frozen symbolizer, passive rule extraction, an append-only hash-bound ledger, exact environment replay, and offline confidence-ranked arbitration with an explicit blind-spot fallback. The results place strict limits on this description layer. Rule-set overlap does not imply behavioral agreement: policies may share symbolic rules while choosing near-chance-matching actions on fresh states. The fused policy therefore selects among existing rules rather than generating a new skill. On a conflict-dominated task, an apparent fusion failure is traced to an induction/deployment mismatch: rules induced from sampled actions were evaluated under argmax actions, and deployment-consistent re-induction reverses the arbitration ordering. A fitted-Q generalized-policy-improvement diagnostic also fails in both environments, limiting claims that rule fusion is superior to value-based composition. One exploratory comparison favors rule fusion, but its comparator is post hoc, the task is partly saturated, and the fused policy remains below the strongest held-out actor. We contribute an evidence-bounded audit and composition protocol, not a claim of universal interpretability or autonomous skill generation. Future work must add temporally extended skills, cross-skill interfaces, composition search, and independent novelty audits.
• Abstract（参考訳）: 強化学習(RL)ポリシーは、しばしば不透明な神経チェックポイントとして配布される。 独立して訓練された政策が、監査可能な個別の行動規則によって表現され、構成できるかどうかを考察する。 オーディショナビリティを,トレース整合性,ロスレスコーディング,ルールカバレッジ,行動合意,構成品質,バリューモデル信頼性という,独立したテスト可能な6つの述語として定義する。 我々のプロトコルは、共有凍結シンボル化器、受動的ルール抽出、追加のみのハッシュバウンド台帳、正確な環境リプレイ、および明示的な盲点フォールバックによるオフライン信頼ランク仲裁を使用する。 結果は、この記述層に厳格な制限を与えます。 ルールセットの重複は振舞いの合意を暗示しない: 政策は象徴的なルールを共有し、新鮮な州でほぼ整合する行動を選択する。 したがって、融合政策は、新しいスキルを生み出すのではなく、既存のルールの中から選択する。 競合に支配されたタスクでは、明らかな融合失敗は誘導/デプロイミスマッチに遡り、サンプリングされたアクションから引き起こされたルールはargmaxアクションで評価され、配置一貫性の再帰は仲裁順序を逆転させる。 適合Q一般化政治改善診断は両方の環境でも失敗し、ルール融合は値ベースの構成よりも優れているという主張が制限される。 探索的な比較ではルール融合が好まれるが、コンパレータはポストホックであり、タスクは部分的に飽和しており、融合政策は最強のホールトアウトアクター以下である。 我々は、普遍的な解釈可能性や自律的なスキル生成の主張ではなく、エビデンスに縛られた監査と構成のプロトコルに貢献する。 今後の作業は、時間的に拡張されたスキル、クロススキルインターフェース、コンポジション検索、独立したノベルティ監査を追加する必要がある。

関連論文リスト

• Satisfaction Is Not Explanation: Auditing Vacuity and Training Influence in Temporal-Logic-Guided Reinforcement Learning [0.33842793760651557]
  時間論理仕様を満たす強化学習政策は、保証論ではなく、試験に合格した。 本稿では,監査層について紹介する。 仕様条項が実際に実行されたか、その役割が強制されたか選択されたか、そして、因果関係をテストする明確な方法が有効であるかどうかを測定する。
  論文  参考訳（メタデータ） (2026-09-23T11:57:24Z)
• BEACON: Belief-Enabled Adaptive CONtrol for Imitation Learning under Uncertainty [16.171337443610962]
  ベイズ的信念を用いた隠れ状態の構造化表現に関するポリシーの条件付けを提案する。 この表現は生の履歴を構造化されたコンパクトな入力に置き換え、ポリシーが探索的行動と搾取的行動の間に暗黙的に変調することを可能にする。 両領域において、信念条件付き政策は観察のみの基準線を著しく上回り、特権的地道的パフォーマンスにアプローチする。
  論文  参考訳（メタデータ） (2026-09-19T03:26:19Z)
• Which Rules Matter Now? Policy-Centroid Routing Before an Intelligent System Acts [0.0]
  ポリシーセントロイドルーティングは、偏見の前にレイヤーを生成する。 いくつかの体制が一度に引き起こされることがある。 本論文では, フェーザブルな6つの命題と7つの後続研究について述べる。
  論文  参考訳（メタデータ） (2026-08-31T13:24:47Z)
• LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL [64.4276583943816]
  検証不能な指導のための強化学習は、報酬信号としてプロンプト固有のルーリックを持つ裁判官に依存している。 最近の手法は、トレーニング中にこれらのルーリックを進化するポリシーに適応させるが、トレーニングのプロンプト自体は静的のままである。 この静的なアプローチは、しばしば急激な困難と政策能力の間に重大なミスアライメントをもたらし、裁判官は差別的な報酬信号を取り戻すことができない。
  論文  参考訳（メタデータ） (2026-07-05T17:05:13Z)
• When Rule Violations Are Rare: Chimera Training for Logical Anomaly Detection [56.362776482614976]
  本研究では,学習した視覚概念に対する制約を論理規則として与える環境での異常検出について検討する。 本稿では,各制約を有向非巡回グラフにコンパイルし,特徴認識サブツリーゲートを学習するニューラルルール評価器を提案する。 CLEVRER、OpenImages、VidOR全体で、結果として得られる評価は、独立イベントと同一イメージのセマンティックトレーニングベースラインよりもルールレベルのAUROCを改善する。
  論文  参考訳（メタデータ） (2026-05-25T02:52:36Z)
• Beyond Accuracy: Policy Invariance as a Reliability Test for LLM Safety Judges [26.595399077062638]
  LLM-as-a-Judgeパイプラインは、エージェント安全性のデファクト評価器となっている。 既存のベンチマークでは、評定がエージェントの行動に依存するか、それとも単に評価方針がどう語られるかをチェックすることなく、その評定を根底からのプロキシとして扱う。 我々は、証明された等価な書き換えの下でのルーブリック・セマンティック不変性、意図的な厳密なシフトの下でのルーブリック・スレッショルド不変性、曖昧さを意識したキャリブレーションの3つの検証可能な原則として運用する。
  論文  参考訳（メタデータ） (2026-05-07T12:49:09Z)
• To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
  マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。 我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T13:11:33Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Information Capacity Regret Bounds for Bandits with Mediator Feedback [55.269551124587224]
  我々は,政策セットの複雑さに対する情報理論尺度として,政策セットの容量を導入する。 古典的なEXP4アルゴリズムを採用することで、ポリシーセットの容量に応じて、新たな後悔の限界を提供する。 ポリシーセットファミリの選択については、キャパシティと同じようなスケールで、ほぼ整合性の低い境界を証明します。
  論文  参考訳（メタデータ） (2024-02-15T19:18:47Z)
• Online Learning with Off-Policy Feedback [18.861989132159945]
  本研究では,オフポリシーフィードバックと呼ばれる部分的可観測性モデルの下で,対向的帯域幅問題におけるオンライン学習の問題点について検討する。 我々は,任意のコンパレータポリシーと行動ポリシーのミスマッチという自然な概念でスケールする後悔境界を保証するアルゴリズムのセットを提案する。
  論文  参考訳（メタデータ） (2022-07-18T21:57:16Z)
• Off-policy Evaluation in Infinite-Horizon Reinforcement Learning with Latent Confounders [62.54431888432302]
  無限水平エルゴードマルコフ決定過程におけるOPE問題について考察する。 我々は、状態と行動の潜在変数モデルのみを考慮すれば、政策値が政治外のデータから特定できることを示す。
  論文  参考訳（メタデータ） (2020-07-27T22:19:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。