論文の概要: REA: From Correct LLM Judgments to Safe Decision Delivery

• arxiv url: http://arxiv.org/abs/2610.17473v1
• Date: Mon, 12 Oct 2026 22:39:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.466915
• Title: REA: From Correct LLM Judgments to Safe Decision Delivery
• Title（参考訳）: REA: 正しいLCM判断から安全な意思決定へ
• Abstract要約: 推論ガードは、アプリケーションが解析できない出力を生成しながら、分類精度を向上させることができる。 アプリケーションが正しい予測を抽出できない場合、フォールバック処理は有害なリクエストを許可したり、安全なリクエストをブロックすることができる。 Resolve-Express-Act(Resolve-Express-Act、REA)は、アプリケーションアクションの解析とフォールバックを通じて判断をトレースするフレームワークである。
• 参考スコア（独自算出の注目度）: 5.843195871392393
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Generative safety guards must classify requests correctly and return outputs that applications can parse. Reasoning guards can improve classification accuracy while producing outputs that applications cannot parse. When applications cannot extract a correct prediction, fallback handling can allow harmful requests or block safe ones. We introduce Resolve--Express--Act (REA), a framework that traces judgments through parsing and fallback to application actions. Experiments on classifiers and safety guards show that correct predictions can appear in incorrectly formatted outputs. Parsing the safety verdict preserves the reasoning guard's accuracy advantage, while stricter explanation requirements reject additional correct predictions. Accepting formatting variations recovers most rejected correct predictions. Held-out tests confirm that output requirements and generation limits affect whether correct predictions can be parsed. In our fail-open replay, matching the parser to the output and fixing formatting reduced the fraction of harmful requests allowed despite correct guard judgments from 95.5% to 0%. A fixed-output comparison shows that model-based extraction can preserve guard verdicts, but is not automatically reliable; deterministic normalization already repairs the observed native-format failures. Fallback replay shows that the same correct prediction can lead to different safety actions depending on the parser and fallback policy, including allowing requests the guard correctly identifies as harmful.
• Abstract（参考訳）: 生成安全ガードはリクエストを正しく分類し、アプリケーションが解析できる出力を返す必要がある。 推論ガードは、アプリケーションが解析できない出力を生成しながら、分類精度を向上させることができる。 アプリケーションが正しい予測を抽出できない場合、フォールバック処理は有害なリクエストを許可したり、安全なリクエストをブロックすることができる。 Resolve--Express-Act(REA)は、解析とアプリケーションアクションへのフォールバックを通じて判断をトレースするフレームワークである。 分類器と安全ガードの実験は、誤ったフォーマットの出力に正しい予測が現れることを示している。 安全判断のパーシングは、推論ガードの精度の優位性を保ち、より厳格な説明要求は追加の正確な予測を拒絶する。 フォーマッティングのバリエーションを受け入れると、最も否定された正確な予測が回復する。 ヘルドアウトテストは、出力要求と生成限界が正しい予測を解析できるかどうかに影響を及ぼすことを確認した。 フェールオープンリプレイでは、パーサーを出力と固定フォーマットに合わせることで、適切なガード判断にもかかわらず許容される有害な要求の比率を95.5%から0%に削減しました。 固定出力比較では、モデルベースの抽出はガードの判定を保存できるが、自動的に信頼性がないことが示されている。 フォールバックのリプレイは、同じ正しい予測がパーサーとフォールバックポリシーによって異なる安全行動を引き起こす可能性があることを示している。

関連論文リスト

• Conformal Prediction with Paraphrase-Aware Scoring for LLM Uncertainty Quantification [28.141040897676827]
  大規模言語モデルの不確実性定量化(UQ)は、予測信頼度を確実に測定することを目的としている。 本稿では,意味的リワードに頑健な言い換え型UQフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-03T03:01:22Z)
• Anytime-Valid Confirmation of Label-Shift Corrections [0.6599344783327052]
  小規模の科学的展開では、ラベル付けされた目標結果が、信頼できるシフト推定には不足している可能性がある。 本研究では,ラベルシフト補正予測とソース予測との観測確率比が条件付きe値であることを示す。
  論文  参考訳（メタデータ） (2026-06-12T02:03:21Z)
• Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models [86.8650252164764]
  大規模言語モデル(LLM)は、事実的に誤った出力を生成する傾向にある。 本研究では,LLMへのコンフォメーションスコア変換法を拡張する適応型コンフォメーション予測手法を提案する。 これにより、アクシデントに依存したキャリブレーションが可能となり、条件付きカバレッジを改善しながら、限界範囲のカバレッジ保証が維持される。
  論文  参考訳（メタデータ） (2026-04-15T15:35:42Z)
• Guardian-as-an-Advisor: Advancing Next-Generation Guardian Models for Trustworthy LLMs [70.81495077853673]
  ハードゲートのセーフティチェッカーは、しばしばベンダーのモデル仕様に過度に反抗し、不平を言う。 この研究は、ガーディアン・アズ・ア・アドバイザ(GaaA)というソフトゲーティングパイプラインを導入し、保護者がバイナリリスクラベルを予測し、このアドバイスを元のクエリに再推論する。 全体として、GaaAはモデル仕様に従うようモデルに指示し、過度な拒絶を減らしながら安全性を維持している。
  論文  参考訳（メタデータ） (2026-04-08T23:47:29Z)
• Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
  条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
  論文  参考訳（メタデータ） (2025-12-12T18:47:39Z)
• Classification with Reject Option: Distribution-free Error Guarantees via Conformal Prediction [1.1380162891529535]
  我々は、二項分類におけるリジェクションオプションによる機械学習のアプローチを定式化する。 結果の誤差率に関する理論的保証を提供する。 エラー・リジェクト曲線は、エラーレートとリジェクトレートの間のトレードオフを示している。
  論文  参考訳（メタデータ） (2025-06-26T23:04:25Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Conformal Prediction Sets with Improved Conditional Coverage using Trust Scores [52.92618442300405]
  有限サンプルにおいて、正確に分布のない条件付きカバレッジを達成することは不可能である。 本稿では,最も重要となる範囲を対象とするコンフォメーション予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-01-17T12:01:56Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。