論文の概要: Auditing the Risk Claims of Distributional Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2607.11607v1
• Date: Mon, 13 Jul 2026 14:30:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.504137
• Title: Auditing the Risk Claims of Distributional Reinforcement Learning
• Title（参考訳）: 分散強化学習におけるリスク・クレームの検証
• Abstract要約: 我々は、予想される質問理論を尋ねるが、それは直接測定されていない:訓練された分散エージェントのリスククレームは本当か? 私たちの監査では、意思決定関連スクリーニング指標(トップ2アクション間のワッサースタインの余剰なギャップ)と、スナップショット再起動のMonte Carloの真実を組み合わせています。 QR-DQN, C51, IQN on MinAtar(33ラン)全体で、最も強い主張されるリスクトレードオフの40-95%は95%の信頼で反論されている。 これらのエージェントにとって、学習された"リスク"は環境よりもトレーニングアーティファクトを反映している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distributional reinforcement learning agents learn full return distributions that are increasingly read at face value: for interpretability, risk-sensitive control, and safety monitoring. We ask a question theory anticipates but that has not been measured directly: are the risk claims of a trained distributional agent true? Our audit combines a decision-relevant screening metric (the excess Wasserstein gap between the top two actions, which equals the mass by which first-order stochastic dominance is violated), ground truth from snapshot-restart Monte Carlo, and a statistical harness (permutation nulls, bootstrap refutation, FDR control) without which the audit itself manufactures false conclusions. Across QR-DQN, C51, and IQN on MinAtar (33 runs), 40-95% of the strongest claimed risk trade-offs are refuted at 95% confidence, the placement of the strongest claims is statistically indistinguishable from truth-blind, and essentially no claim is confirmable: for these agents, the learned "risk" reflects a training artifact rather than environment stochasticity. The artifact is structural (fully formed early in training, uncorrelated with final score, idiosyncratic to each seed) and appears unchanged at full-Atari scale, with every top Breakout claim of a pretrained near-state-of-the-art QR-DQN refuted. Positive controls of known magnitude confirm 96-100% of real claims (correlation 0.89-0.92): the reading measures the agents, not the audit. Acting on the heads' CVaR advice at their most-flagged states ranges from beneficial to significantly worse than chance. Neither training for risk nor ensembling removes the artifact, and recalibration passes the audit only by nullifying the claims: the head is uninformative, not merely miscalibrated. We release the toolkit and document two silent pitfalls that produced convincing but wrong audits of our own.
• Abstract（参考訳）: 分散強化学習エージェントは、解釈可能性、リスクに敏感な制御、安全監視といった、顔の価値がますます高まっているフルリターン分布を学習する。 我々は、予想される質問理論を尋ねるが、それは直接測定されていない:訓練された分散エージェントのリスククレームは本当か? 調査では, 判定関連検定基準(トップ2アクション間のワッサースタインの余剰差, 一階確率支配が侵害される質量と等しい), スナップショット再起動モンテカルロの真理, 統計的ハーネス(置換ヌル, ブートストラップ消毒, FDR制御)を, 監査自体が偽の結論を生成することなく組み合わせた。 QR-DQN, C51, IQN on MinAtar (33ラン) 全体で、最強の主張されるリスクトレードオフの40-95%は95%の信頼で反論され、最強の主張の配置は統計的に真実と区別できない。 アーティファクトは構造的(トレーニングの初期段階で完全に形成され、最終スコアとは無関係、各シードと慣用的)で、フルアタリスケールで変化し、すべてのトップブレークアウトの主張は、事前訓練された近距離QR-DQNを反証する。 既知のマグニチュードの正の制御により、実際のクレームの96-100%が確認される(相関 0.89-0.92)。 最強の州でのCVaRの助言の行動は、有益から偶然よりも著しく悪いものまで様々である。 リスクやアンサンブルのトレーニングは、アーティファクトを削除せず、再校正は、クレームを無効化することによってのみ監査をパスする。 ツールキットをリリースし、2つの静かな落とし穴を文書化する。

関連論文リスト

• When Is Benchmark Contamination Detectable? Information Limits and Power-Calibrated Audits [6.908972852063454]
  行動汚染検知器は、ベンチマークがクリーンであるか、監査がほとんどパワーを持っていないため、"証拠がない"ことができる。 我々はこの区別を、トレーニング中に未知のアイテムの分数アルファが見られたベンチマークとして定式化した。 R2 = 0.83-0.98 を6つの正確な置換チャネルで予測する。 事前宣言された2段階のプランナーは、配備された試験をシミュレートし、予算を修復し、一様に保守的であり、プローブが輸送されないときに停止する。
  論文  参考訳（メタデータ） (2026-08-08T04:41:36Z)
• Cross-Fitted Residual Utility for Primary-Preserving Cognitive Decision Correction in Automatic Modulation Classification [1.547549252134621]
  本稿では,クロスフィット型残効ユーティリティとプライマリ保存型認知決定ポリシーを用いて,推論後の問題について検討する。 構造化されたkan-Fourier分類器はデフォルトの確率を提供し、ニューラルおよび非ニューラル候補は観測可能な証拠を提供する。 RMLA、RMLB、HISARでは、完全なシステムは全体の精度を63.632%から66.332%、65.161%から66.168%、77.769%から79.867%に改善している。
  論文  参考訳（メタデータ） (2026-08-03T11:07:37Z)
• CARE: A Conformal Safety Layer for Medical Summarization [24.00849890172944]
  大きな言語モデル(LLM)は、医学的な要約にますます使われている。 既存のエラー検出手法ではスコアが生成または未校正され、エラーを正しく制御することができない。 リスク評価のためのコンフォーマルアセスメント(CARE, Conformal Assessment for Risk Evaluation)を導入する。
  論文  参考訳（メタデータ） (2026-06-08T03:10:45Z)
• A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
  報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。 実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。 我々はこの推定が体系的に偏っていることを証明している。
  論文  参考訳（メタデータ） (2026-06-04T09:35:54Z)
• Representation Signatures and Risk-Feedback Alignment in LLM Trading Agents [0.0635655952373977]
  金融決定環境における大規模言語モデル(LLM)エージェントの行動アライメントと表現ダイナミクスについて検討する。 提案手法では, プレドローダウン状態とは別個に, 正規状態のセントロイドからの埋め込み, 融合した計画リスク表現, および, 故障前の有効ランク収縮を示す。 また、構造的リスクフィードバックは微調整なしで外部アライメント信号として機能するが、普遍的な性能向上にはならない。
  論文  参考訳（メタデータ） (2026-05-16T16:53:34Z)
• Beyond Reasoning: Reinforcement Learning Unlocks Parametric Knowledge in LLMs [59.62441340813425]
  我々は、強化学習がパラメトリック知識の直接的リコールを改善するかどうかを検討する。 3つのモデルファミリと複数の事実QAベンチマークで、RLの平均相対利得は27%である。 機械的には、RLは主に新しい事実を得るのではなく、既存の知識の確率質量を再分配する。
  論文  参考訳（メタデータ） (2026-05-08T02:40:12Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection [0.0]
  大規模言語モデル(LLM)は、ますます重要な意思決定システムにデプロイされている。 出力アンカートークン確率に基づく正規化信頼スコアを導入する。 これにより、最小限のオーバーヘッドでエラーや幻覚を直接検出できる。
  論文  参考訳（メタデータ） (2026-02-18T07:05:12Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• Disproving the Feasibility of Learned Confidence Calibration Under Binary Supervision: An Information-Theoretic Impossibility [2.1485350418225244]
  ニューラルネットワークは、正しい/不正確な監視を使用してトレーニングされた場合、有意義な多様性で適切に校正された信頼推定を同時に学習することはできない。 これは、方法論的な失敗ではなく、情報理論的な制約であることを示す。 本稿では,アンサンブル不一致と適応型マルチエージェント学習を用いた新しい指導パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-09-17T19:43:45Z)
• Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty [59.97939500426759]
  本稿ではRLCRについて述べる。RLCRは精度と信頼性を共同で向上する推論モデルを訓練する手法である。 多様なデータセット間で、RLCRは精度を損なうことなくキャリブレーションを大幅に改善することを示す。 また,言語的信頼度をテスト時に活用し,精度とキャリブレーションを向上させることも実証した。
  論文  参考訳（メタデータ） (2025-07-22T17:56:01Z)
• Just Ask for Calibration: Strategies for Eliciting Calibrated Confidence Scores from Language Models Fine-Tuned with Human Feedback [91.22679548111127]
  信頼できる現実世界の予測システムは、よく校正された信頼スコアを生成するべきである。 出力トークンとして出力される言語的信頼度は、通常、モデルの条件付き確率よりも良く校正されていることを示す。
  論文  参考訳（メタデータ） (2023-05-24T10:12:33Z)
• Adversarial Training with Rectified Rejection [114.83821848791206]
  本稿では,信頼度(T-Con)を確実性オラクルとして利用し,信頼度を補正してT-Conを予測することを提案する。 軽度の条件下では、正当性(R-Con)拒絶器と信頼性(R-Con)拒絶器を結合して、不正に分類された入力と正しく分類された入力を区別できることを示す。
  論文  参考訳（メタデータ） (2021-05-31T08:24:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。