論文の概要: Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals

• arxiv url: http://arxiv.org/abs/2604.17714v1
• Date: Mon, 20 Apr 2026 01:50:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.655267
• Title: Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals
• Title（参考訳）: 解釈前の画面:ベンチマークベースのLLM信頼信号のためのポータブルな検証プロトコル
• Abstract要約: LLM信頼信号は、棄権、ルーティング、安全クリティカルな決定に使用される。 信頼信号が構築前にアイテムレベルの情報を伝達するかどうかを確認するための標準的な慣行は存在しない。 LLM信頼性データに対する可搬性プロトコルとして,臨床人格評価(PAI,MMPI-3)から妥当性スクリーニングの原則を転送する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM confidence signals are used for abstention, routing, and safety-critical decisions. No standard practice exists for checking whether a confidence signal carries item-level information before building on it. We transfer the validity screening principle from clinical personality assessment (PAI, MMPI-3) as a portable protocol for benchmark-based LLM confidence data. The protocol specifies three core indices (L, Fp, RBS), a structural indicator (TRIN), and an item-sensitivity statistic, computed from a single 2x2 contingency table. A three-tier classification system (Invalid, Indeterminate, Valid) draws on four clinical traditions. Validated on 20 frontier LLMs across 524 items, four models are classified Invalid, two Indeterminate. Valid-profile models show mean r = .18 (15/16 significant). Invalid-profile models show mean r = -.20 (d = 2.48). Cross-benchmark validation on 18 models using MMLU with verbalized confidence and on external data from Yang et al. (2024) confirms the screen transfers across benchmarks and probe formats. All data and code: https://github.com/synthiumjp/validity-scaling-llm
• Abstract（参考訳）: LLM信頼信号は、棄権、ルーティング、安全クリティカルな決定に使用される。 信頼信号が構築前にアイテムレベルの情報を伝達するかどうかを確認するための標準的な慣行は存在しない。 LLM信頼性データに対する可搬性プロトコルとして,臨床人格評価(PAI,MMPI-3)から妥当性スクリーニングの原則を転送する。 このプロトコルは、単一の2x2整合テーブルから計算される3つのコア指標(L、Fp、RBS)、構造指標(TRIN)、およびアイテム感度統計を規定する。 3段階の分類体系(Invalid、Indeterminate、Valid)は4つの臨床の伝統に基づいている。 524項目にわたる20のフロンティアLLMで検証され、4つのモデルがInvalid、2つのIndeterminateに分類される。 正当性を示すモデルは、r = .18 (15/16 有意) を意味する。 無効なモデルは、平均 r = -.20 (d = 2.48) を示す。 MMLUとYang et al (2024)の外部データを用いた18モデルのクロスベンチマーク検証では、ベンチマークやプローブフォーマット間の画面転送を確認している。 すべてのデータとコード:https://github.com/synthiumjp/validity-scaling-llm

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• PROTON: Prototype-Based Test-Time Online OOD Detection for Medical VLMs [26.105088397249034]
  医療ビジョン言語モデル(VLM)では、デプロイメント時のアウト・オブ・ディストリビューション(OOD)入力が未解決のままである。 ProTON(PROtotype-based Test-time Online OOD Detection)は,ストリームレベルの分散統計によるOODスコアとプロトタイプ距離を融合した軽量なポストホックモジュールである。 FLAIR + FIVESのベンチマークでは、PROTONは共変量シフトで+23.9 AUROC、セマンティックシフトで+8.8、遠OODで+8.1の改善を行い、階層的なプロンプトやラベル付きデータなしで3つすべてを改善する唯一のゼロショット法となった。
  論文  参考訳（メタデータ） (2026-06-18T20:09:13Z)
• VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
  VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。 VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。 3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
  論文  参考訳（メタデータ） (2026-05-11T23:39:19Z)
• Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
  CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。 推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。 10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
  論文  参考訳（メタデータ） (2026-05-08T07:08:25Z)
• Trust but Verify: Introducing DAVinCI -- A Framework for Dual Attribution and Verification in Claim Inference for Language Models [53.279391576560755]
  大規模言語モデル(LLM)は、広範囲のNLPタスクにおいて顕著な流速と汎用性を示してきたが、実際的な不正確さと制限が伴う傾向にある。 これは、信頼と妥当性が最優先される医療、法律、科学コミュニケーションといった、高リスク領域に重大なリスクをもたらす。 LLM出力の事実的信頼性と解釈可能性を高めるために設計されたDAVinCI - Dual Attribution and Verificationフレームワークを紹介する。
  論文  参考訳（メタデータ） (2026-04-23T01:37:50Z)
• Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report [0.0]
  PAIとMMPI-3からメタ認知プローブデータに適用する。 6つの妥当性指標が運用されている: L(エラーに対する信頼を維持する)、K(エラーに賭ける)、F(コンセンサスに適合した項目を引き出す)、Fp(正しい回答を引き出す)、RBS(逆モニタリング)、TRIN。
  論文  参考訳（メタデータ） (2026-04-20T01:42:54Z)
• NANOZK: Layerwise Zero-Knowledge Proofs for Verifiable Large Language Model Inference [0.0]
  LLM推論を検証可能なゼロ知識証明システムであるメソッドを提案する。 我々のアプローチは、トランスフォーマー推論が自然に独立した層計算に分解されるという事実を生かしている。 EZKLと比較して、EZKLは70倍小さい証明と5.7倍速い証明時間をd=128で達成し、形式的な音質保証を維持している。
  論文  参考訳（メタデータ） (2026-03-17T04:14:45Z)
• Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
  我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。 内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2026-03-13T20:44:15Z)
• Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents [0.7699235580548228]
  LLMエージェントは、規制監査のリプレイに苦労する: トランザクションフラグ付き決定を同じ入力で再現するように要求された場合、ほとんどのデプロイメントは一貫性のある結果を返すことができません。 本稿では,金融サービスに展開するツール利用エージェントにおけるトラジェクティブ決定性およびエビデンス条件の忠実度を測定するためのフレームワークであるDFAHを紹介する。
  論文  参考訳（メタデータ） (2026-01-17T19:47:55Z)
• Trustworthiness Calibration Framework for Phishing Email Detection Using Large Language Models [0.0]
  GPT-4やLLaMA-3-8Bのような大規模言語モデル(LLM)は、テキスト分類において高い精度を達成する。 本研究では,フィッシング検知器の再現性評価手法であるTCFを紹介した。
  論文  参考訳（メタデータ） (2025-11-06T18:14:44Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
  大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。 LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。 LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
  論文  参考訳（メタデータ） (2023-10-15T12:40:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。