論文の概要: LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

• arxiv url: http://arxiv.org/abs/2603.14893v1
• Date: Mon, 16 Mar 2026 06:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.113454
• Title: LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy
• Title（参考訳）: 信号検出器としてのLCM:感度, バイアス, 温度・温度解析
• Authors: Jon-Paul Cacioli,
• Abstract要約: 大言語モデル(LLM)は、期待誤差などのメトリクスを用いて校正のために評価される。 信号検出理論(SDT)はこれらの成分を分解する。 我々は,人間の心理生理学における対価操作に類似した温度関数が基準シフトとして機能するかどうかを検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are evaluated for calibration using metrics such as Expected Calibration Error that conflate two distinct components: the model's ability to discriminate correct from incorrect answers (sensitivity) and its tendency toward confident or cautious responding (bias). Signal Detection Theory (SDT) decomposes these components. While SDT-derived metrics such as AUROC are increasingly used, the full parametric framework - unequal-variance model fitting, criterion estimation, z-ROC analysis - has not been applied to LLMs as signal detectors. In this pre-registered study, we treat three LLMs as observers performing factual discrimination across 168,000 trials and test whether temperature functions as a criterion shift analogous to payoff manipulations in human psychophysics. Critically, this analogy may break down because temperature changes the generated answer itself, not only the confidence assigned to it. Our results confirm the breakdown with temperature simultaneously increasing sensitivity (AUC) and shifting criterion. All models exhibited unequal-variance evidence distributions (z-ROC slopes 0.52-0.84), with instruct models showing more extreme asymmetry (0.52-0.63) than the base model (0.77-0.87) or human recognition memory (~0.80). The SDT decomposition revealed that models occupying distinct positions in sensitivity-bias space could not be distinguished by calibration metrics alone, demonstrating that the full parametric framework provides diagnostic information unavailable from existing metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不正確な回答(感度)と正しい回答(バイアス)を区別するモデルの能力と、自信または慎重な応答(バイアス)に対する傾向の2つの異なるコンポーネントを分割する期待校正誤差などのメトリクスを用いて、校正のために評価される。 信号検出理論(SDT)はこれらの成分を分解する。 AUROCのようなSDT由来のメトリクスはますます使われるが、信号検出器としてLLMには完全なパラメトリックフレームワーク(不等分散モデルフィッティング、基準推定、z-ROC分析)が適用されていない。 本研究は,168,000回の臨床試験において,3つのLCMを実際の判別を行う観察者として扱い,人間の心理生理学におけるペイオフ操作に類似した温度関数が基準シフトであるかどうかを検証した。 臨界的に、この類似性は、温度が生成した答えそのものを変えるため、それに割り当てられた信頼度だけでなく、崩壊する可能性がある。 以上の結果より, 温度が上昇し, 感度(AUC)が上昇し, 温度が変化することが確認された。 すべてのモデルは不等分散証拠分布(z-ROCスロープ0.52-0.84)を示し、ベースモデル(0.77-0.87)や人間の認識メモリ(~0.80)よりも極端な非対称性(0.52-0.63)を示す命令モデルを示した。 SDTの分解により、感度バイアス空間における異なる位置を占めるモデルは、キャリブレーション基準だけでは区別できず、完全なパラメトリックフレームワークが既存の指標から利用できない診断情報を提供することを示した。

関連論文リスト

• TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same [2.755751829139168]
  ほとんどの不確実性を認識したロボットシステムは、予測の不確実性を単一のスカラースコアに分解し、それを使って一様に修正された応答をトリガーする。 このアグリゲーションは、破損した観測結果から不確実性が生じるか、あるいは学習されたモデルと真のシステム力学とのミスマッチから生じるのかを曖昧にしている。 本研究では,不確かさを動脈およびてんかん成分に分解する軽量なポストホックフレームワークを導入し,これらの信号を用いて推論時のシステム応答を調節する。
  論文  参考訳（メタデータ） (2026-03-09T09:07:43Z)
• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Learning to Separate RF Signals Under Uncertainty: Detect-Then-Separate vs. Unified Joint Models [53.79667447811139]
  受信した信号に直接適用した場合、単一のディープニューラルネットワークアーキテクチャが共同で検出および分離することを学習していることを示す。 これらの結果から,UJM は DTS に代わるスケーラブルで実用的な代替品であり,広範に推定された統合分離のための新たな方向を開拓した。
  論文  参考訳（メタデータ） (2026-02-04T15:25:02Z)
• Multi-Task Deep Learning for Surface Metrology [0.0]
  表面テクスチャパラメータを予測するために,再現可能な深層学習フレームワークを提案する。 不確実性は、量子的およびヘテロセダスティックなヘッドによってモデル化され、ポストホック共形キャリブレーションにより、キャリブレーションされた間隔が生成される。
  論文  参考訳（メタデータ） (2025-10-23T08:38:18Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Evaluating probabilistic and data-driven inference models for fiber-coupled NV-diamond temperature sensors [0.7140163200313723]
  連続波光磁気共鳴(ODMR)測定による温度推定における推定モデルが不確実性に与える影響について検討した。 このモデルでは、スピンハミルトンパラメータの温度依存性を利用して、ODMRデータのスペクトル特徴から温度を推定する。
  論文  参考訳（メタデータ） (2024-09-14T17:23:20Z)
• Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
  筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。 iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-10T19:17:23Z)
• Validation of ML-UQ calibration statistics using simulated reference values: a sensitivity analysis [0.0]
  いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。 実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。 本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
  論文  参考訳（メタデータ） (2024-03-01T10:19:32Z)
• Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line [65.14099135546594]
  最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-07T23:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。