論文の概要: Risk-Controlled Selective LLM Answering by Pricing Label-Free Checks

• arxiv url: http://arxiv.org/abs/2609.37493v1
• Date: Sun, 27 Sep 2026 20:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.526098
• Title: Risk-Controlled Selective LLM Answering by Pricing Label-Free Checks
• Title（参考訳）: ラベルフリーチェックによるリスク制御選択型LCMアンサー
• Abstract要約: PriceCheckはラベルなしチェックから決定ルールのコンパクトなファミリを構築する。 それぞれのチェックには、正しい回答と間違った回答に対する合意率と実行当たりのコストという、価格がある。 キャリブレーションテストは、指示された選択リスクターゲットでスケジュールを選択する。
• 参考スコア（独自算出の注目度）: 32.581299794611375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Serving an answer from a large language model requires deciding when to abstain, yet a verifier's ranking accuracy alone does not determine the error rate among served answers. We introduce PriceCheck, which builds a compact family of decision rules from label-free checks such as re-solving a problem. Each check has a price: its agreement rates on correct and incorrect answers and its cost per run. Prices fitted on a small, class-enriched labelled set compose into predictions of a schedule's coverage and cost, guiding which checks to run and when to stop. A calibration test then selects a schedule at a stated selective-risk target. In mathematics, the selected schedules serve 76.1% of answers on average and keep held-out selective risk below 1.5% on all 15 splits. Under the shared testing protocol, PriceCheck serves more answers at that target than reward models, a prompted judge, the generator's confidence and a trained correctness classifier. At matched coverage, it keeps the fewest wrong answers among these scorers. Across 118 diagnostic schedules, price-based coverage predictions have a rank correlation of 0.97 with observed coverage. These results show that choosing how checks are combined and stopped matters alongside how well a verifier ranks answers. Code is available at https://github.com/js-lee-AI/PriceCheck.
• Abstract（参考訳）: 大規模な言語モデルから回答を得るには、いつ廃止するかを決める必要があるが、検証者のランキング精度だけでは、提供された回答のエラー率を決定することはできない。 そこでPriceCheckを紹介します。これは、問題の解決のようなラベルなしチェックから、決定ルールのコンパクトなファミリを構築するものです。 それぞれのチェックには、正しい回答と間違った回答に対する合意率と実行当たりのコストという、価格がある。 小さな階層化されたラベル付きセットに組み込まれた価格は、スケジュールのカバレッジとコストを予測し、どのチェックを実行するか、いつ停止するかを導く。 キャリブレーションテストは、指示された選択リスクターゲットでスケジュールを選択する。 数学では、選択されたスケジュールは平均76.1%の回答を提供し、15個の分割で1.5%以下の選択的なリスクを維持する。 共有テストプロトコルの下では、PriceCheckは報酬モデル、誘導された判断、ジェネレータの信頼性、訓練された正当性分類器よりも、そのターゲットでより多くの回答を提供する。 一致したカバレッジでは、これらのスコアラーの中で、最も小さな間違った回答を保持します。 118の診断スケジュールで、価格ベースのカバレッジ予測は、観察されたカバレッジとのランク相関が0.97である。 これらの結果から,検証者による回答のランク付けとともに,チェックの組み合わせや停止の方法を選択することが示唆された。 コードはhttps://github.com/js-lee-AI/PriceCheck.comから入手できる。

関連論文リスト

• Measurement Boundaries in LLM Financial Agent Evaluation: Fixed-Tape Execution and Multi-Defect Auditing [0.0635655952373977]
  本研究では,金融エージェントの評価において,実行性能の解釈と監査スコアの2つの限界について検討する。 StudyAでは、3つの合成セッティング上での独立実行とストレスのある実行を比較することで、実行ルールと新しいモデル応答とポートフォリオフィードバックが混在する。 StudyBでは,従来のタスクをゼロ,1,2の欠陥タスクに,明示的なマルチラベルプロンプトで置き換えることによって,1から2の欠陥からの目標違反リコールの減少は,監査と情報源の組み合わせの5つのうち5つにおいて肯定的である。
  論文  参考訳（メタデータ） (2026-09-26T08:54:21Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• CART: Closed-Loop Adaptive Red Teaming for Large Language Models [91.66397227953821]
  CART(Closed-Loop Adaptive Red Teaming)は、各結果を使用して、次にテストするものをガイドするフレームワークである。 テストを生成するChallengeと、テスト中のTarget、テキストのみのモデルや境界ツール使用エージェント、結果を評価するJuiceを分離する。
  論文  参考訳（メタデータ） (2026-09-23T04:16:46Z)
• Do LiDAR Language Models Really Understand Spatio-temporal Relationships? [62.56505727364142]
  ベンチマークと診断プロトコルであるLiDAR-Halluを150 nusのシーンで紹介する。 提案プロトコルは,固定回答と候補コンテンツ制御,クロスシーンペアを同一のプロンプトで組み合わせるが,参照応答は逆で,リレーショナルなリコールを行う。 記録された10万の応答の分析は、集合的空間精度によって隠された失敗を明らかにする。
  論文  参考訳（メタデータ） (2026-09-21T11:59:07Z)
• Are Coreset Selection Methods Worth Their Cost? [9.563027159959587]
  Coreset選択は、ラベル付きトレーニングセットの代表的なサブセットを選択して、トレーニングを安くする。 ダウンストリームトレーニングを標準化し、同じ監査可能なウォールクロック予算に選択とトレーニングを課金するエンドツーエンドベンチマークを導入する。 CIFAR-10とTiny ImageNetの8つの壁面の予算アンカーで、洗練されたセレクタがアンカーに勝つことはない。
  論文  参考訳（メタデータ） (2026-09-19T08:58:52Z)
• Pause and Reflect: Conformal Aggregation for Chain-of-Thought Reasoning [8.024041325202612]
  自己整合性を考慮した思考の連鎖(CoT)推論は、複数のサンプル推論パスを集約することで性能を向上させる。 集約不確実性に直接対処するCoT推論のコンフォメーション手順を導入する。 提案手法は,多数決を推理経路よりも重み付けしたスコアアグリゲーションに置き換え,共形リスク制御を用いた棄権規則を校正する。
  論文  参考訳（メタデータ） (2026-05-13T20:33:59Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Coverage-Guaranteed Speech Emotion Recognition via Calibrated Uncertainty-Adaptive Prediction Sets [0.0]
  しばしば感情的な抑圧と突然のアウトバーストによって引き起こされる道路の怒りは、衝突や攻撃的な行動を引き起こすことによって道路の安全を著しく脅かす。 音声感情認識技術は、ネガティブな感情を早期に識別し、タイムリーな警告を発することにより、このリスクを軽減することができる。 本稿では,予測精度を統計的に厳格に保証するリスク制御予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-24T12:26:28Z)
• Efficient Online Set-valued Classification with Bandit Feedback [10.882001129426726]
  クラス固有の粒度のカバレッジ保証を提供するBandit Class-specific Conformal Prediction (BCCP)を提案する。 BCCPは、各イテレーションで少ないラベルでラベル付けされたデータの課題を克服し、オンライン意思決定環境への適合予測の信頼性と適用性を一般化する。
  論文  参考訳（メタデータ） (2024-05-07T15:14:51Z)
• Calibrating Predictions to Decisions: A Novel Approach to Multi-Class Calibration [118.26862029820447]
  我々は、下流の意思決定者に対して、予測された分布と真の分布を区別不能にする必要がある新しい概念、即時校正を導入します。 決定キャリブレーションは、皮膚病変の判定と、現代のニューラルネットワークを用いたImageNet分類を改善する。
  論文  参考訳（メタデータ） (2021-07-12T20:17:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。