Fugu-MT 論文翻訳(概要): Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction

論文の概要: Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction

arxiv url: http://arxiv.org/abs/2604.17716v1
Date: Mon, 20 Apr 2026 01:56:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-21 21:52:52.657262
Title: Concurrent Criterion Validation of a Validity Screen for LLM Confidence Signals via Selective Prediction
Title（参考訳）: 選択予測によるLCM信頼信号の妥当性画面の同時基準検証
Abstract要約: 妥当性画面は、LDM信頼信号をValid、Indeterminate、Invalidに分類する。認知的軌跡の524項目において,7家系の20のフロンティアLSMを評価した。 Split-halfクロスバリデーションは、中央値d = 1.77, P(d > 0) = 1.0を1000個の分割で生成する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The validity screen (Cacioli, 2026d, 2026e) classifies LLM confidence signals as Valid, Indeterminate, or Invalid. We test whether these classifications predict selective prediction performance. Twenty frontier LLMs from seven families were evaluated on 524 items across six cognitive tracks. Valid models show mean Type 2 AUROC = .624 (SD = .048). Invalid models show mean AUROC = .357 (SD = .231). Cohen's d = 2.81, p = .002. The tiers order monotonically: Invalid (.357) < Indeterminate (.554) < Valid (.624). Split-half cross-validation yields median d = 1.77, P(d > 0) = 1.0 across 1,000 splits. The three-tier classification accounts for 47% of the variance in AUROC. DeepSeek-R1 drops from 85.3% accuracy at full coverage to 11.3% at 10% coverage. The screen predicts the criterion. For selective prediction, the screen matters.
Abstract（参考訳）: 妥当性画面(Cacioli、2026d、2026e)は、LDM信頼信号をValid、Indeterminate、Invalidに分類する。これらの分類が選択的予測性能を予測するかどうかを検証する。認知的軌跡の524項目において,7家系の20のフロンティアLSMを評価した。有効なモデルでは、AUROC = .624 (SD = .048) となる。無効なモデルは平均 AUROC = .357 (SD = .231) を示す。コーエンの d = 2.81, p = 002 である。 Invalid (.357) < Indeterminate (.554) < Valid (.624)。 Split-halfクロスバリデーションは、中央値d = 1.77, P(d > 0) = 1.0を1000個の分割で生成する。 3層分類はAUROCの47%である。 DeepSeek-R1は、全カバレッジで85.3%の精度から10%のカバレッジで11.3%に低下する。画面は基準を予測します。選択的な予測は、画面が重要だ。

関連論文リスト

The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文参考訳（メタデータ） (2026-09-14T17:13:05Z)
Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文参考訳（メタデータ） (2026-08-08T13:22:14Z)
Which Values Do LLMs Confuse? A Schwartz-Based Recognition Study [32.505127447635864]
シュワルツの10つの基本値に対するトップ1認識の制御について検討した。我々は,21の命令調整LDM動作を定位応答プロトコルで評価する。モデルはしばしば正しいモチベーション領域を見つけ、近い選択肢を不安定にランク付けする。
論文参考訳（メタデータ） (2026-07-22T15:22:14Z)
When LLMs Agree, Are They Right? Auditing Self-Consistency and Cross-Model Agreement as Confidence Signals [0.0]
LLM-as-judgeは、企業パイプラインでAIシステムを評価する上で、ますますデフォルトになっている。判断者間の整合性、あるいはモデル自身のサンプルが正当性を示していることを示す。大規模なクロスランナー研究において、合意がいつ有用なプロキシであるかを問う。
論文参考訳（メタデータ） (2026-07-09T02:46:51Z)
Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。 ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文参考訳（メタデータ） (2026-06-29T06:39:03Z)
Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文参考訳（メタデータ） (2026-05-20T19:08:38Z)
Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文参考訳（メタデータ） (2026-05-15T17:08:27Z)
Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen [0.0]
実験では,7つの指導訓練付きオープンウェイトモデルを用いて,最小の妥当性基準を満たす言語的信頼度が得られるかどうかを検証した。カテゴリー的誘因は有効性には至らなかった。声道レベルの対数確率は,観察された分散状態下での言語的信頼度を有意に予測しなかった。
論文参考訳（メタデータ） (2026-04-24T04:45:21Z)
Before You Interpret the Profile: Validity Scaling for LLM Metacognitive Self-Report [0.0]
PAIとMMPI-3からメタ認知プローブデータに適用する。 6つの妥当性指標が運用されている: L(エラーに対する信頼を維持する)、K(エラーに賭ける)、F(コンセンサスに適合した項目を引き出す)、Fp(正しい回答を引き出す)、RBS(逆モニタリング)、TRIN。
論文参考訳（メタデータ） (2026-04-20T01:42:54Z)
The Alignment Tax: Response Homogenization in Aligned LLMs and Its Implications for Uncertainty Estimation [1.8345614451086532]
RLHF 対応言語モデルは TruthfulQA 上で応答均質化を示す。 40-79%の質問は、10のi.i.d.サンプルに対して単一のセマンティッククラスタを生成する。
論文参考訳（メタデータ） (2026-03-25T09:35:15Z)
Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation [0.0]
連鎖忠実性に関する最近の研究は、単一集合数について報告している。本論文は、忠実性はモデルの客観的かつ測定可能な性質ではないことを示す。
論文参考訳（メタデータ） (2026-03-20T17:48:43Z)
Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
論文参考訳（メタデータ） (2025-09-24T13:06:35Z)
Impact of Labeling Inaccuracy and Image Noise on Tooth Segmentation in Panoramic Radiographs using Federated, Centralized and Local Learning [46.232038247686745]
フェデレートラーニング(FL)は、歯科診断AIにおけるプライバシー制約、不均一なデータ品質、一貫性のないラベル付けを緩和する。複数のデータ破損シナリオを対象としたパノラマX線撮影において,FLと集中学習(CL)と局所学習(LL)を比較した。
論文参考訳（メタデータ） (2025-09-08T11:07:47Z)
CausalDiff: Causality-Inspired Disentanglement via Diffusion Model for Adversarial Defense [61.78357530675446]
人間は、本質的な要因のみに基づいて判断するので、微妙な操作によって騙されるのは難しい。この観察に触発されて、本質的なラベル因果因子を用いたラベル生成をモデル化し、ラベル非因果因子を組み込んでデータ生成を支援する。逆の例では、摂動を非因果因子として識別し、ラベル因果因子のみに基づいて予測することを目的としている。
論文参考訳（メタデータ） (2024-10-30T15:06:44Z)
Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
論文参考訳（メタデータ） (2024-07-15T23:41:11Z)
Predicting Overtakes in Trucks Using CAN Data [51.28632782308621]
CANデータからトラックの積載量の検出について検討する。私たちの分析では、オーバーテイクイベントの最大10秒前をカバーしています。我々は、オーバーテイク・トリガーに近づくと、オーバーテイク・クラスの予測スコアが増加する傾向にあることを観察する。
論文参考訳（メタデータ） (2024-04-08T17:58:22Z)
Selective Classification Can Magnify Disparities Across Groups [89.14499988774985]
選択的分類は平均的精度を向上させることができるが、既存の精度格差を同時に増大させることができる。禁忌の増大は、一部のグループでのアキュラシーを減少させることもある。我々は,グループ間で類似のフルカバレッジ精度を実現する分散ロバストモデルを訓練し,選択分類が各グループを均一に改善することを示す。
論文参考訳（メタデータ） (2020-10-27T08:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。