論文の概要: LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

• arxiv url: http://arxiv.org/abs/2603.14893v1
• Date: Mon, 16 Mar 2026 06:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.113454
• Title: LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy
• Title（参考訳）: 信号検出器としてのLCM:感度, バイアス, 温度・温度解析
• Abstract要約: 大言語モデル(LLM)は、期待誤差などのメトリクスを用いて校正のために評価される。 信号検出理論(SDT)はこれらの成分を分解する。 我々は,人間の心理生理学における対価操作に類似した温度関数が基準シフトとして機能するかどうかを検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are evaluated for calibration using metrics such as Expected Calibration Error that conflate two distinct components: the model's ability to discriminate correct from incorrect answers (sensitivity) and its tendency toward confident or cautious responding (bias). Signal Detection Theory (SDT) decomposes these components. While SDT-derived metrics such as AUROC are increasingly used, the full parametric framework - unequal-variance model fitting, criterion estimation, z-ROC analysis - has not been applied to LLMs as signal detectors. In this pre-registered study, we treat three LLMs as observers performing factual discrimination across 168,000 trials and test whether temperature functions as a criterion shift analogous to payoff manipulations in human psychophysics. Critically, this analogy may break down because temperature changes the generated answer itself, not only the confidence assigned to it. Our results confirm the breakdown with temperature simultaneously increasing sensitivity (AUC) and shifting criterion. All models exhibited unequal-variance evidence distributions (z-ROC slopes 0.52-0.84), with instruct models showing more extreme asymmetry (0.52-0.63) than the base model (0.77-0.87) or human recognition memory (~0.80). The SDT decomposition revealed that models occupying distinct positions in sensitivity-bias space could not be distinguished by calibration metrics alone, demonstrating that the full parametric framework provides diagnostic information unavailable from existing metrics.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、不正確な回答(感度)と正しい回答(バイアス)を区別するモデルの能力と、自信または慎重な応答(バイアス)に対する傾向の2つの異なるコンポーネントを分割する期待校正誤差などのメトリクスを用いて、校正のために評価される。 信号検出理論(SDT)はこれらの成分を分解する。 AUROCのようなSDT由来のメトリクスはますます使われるが、信号検出器としてLLMには完全なパラメトリックフレームワーク(不等分散モデルフィッティング、基準推定、z-ROC分析)が適用されていない。 本研究は,168,000回の臨床試験において,3つのLCMを実際の判別を行う観察者として扱い,人間の心理生理学におけるペイオフ操作に類似した温度関数が基準シフトであるかどうかを検証した。 臨界的に、この類似性は、温度が生成した答えそのものを変えるため、それに割り当てられた信頼度だけでなく、崩壊する可能性がある。 以上の結果より, 温度が上昇し, 感度(AUC)が上昇し, 温度が変化することが確認された。 すべてのモデルは不等分散証拠分布(z-ROCスロープ0.52-0.84)を示し、ベースモデル(0.77-0.87)や人間の認識メモリ(~0.80)よりも極端な非対称性(0.52-0.63)を示す命令モデルを示した。 SDTの分解により、感度バイアス空間における異なる位置を占めるモデルは、キャリブレーション基準だけでは区別できず、完全なパラメトリックフレームワークが既存の指標から利用できない診断情報を提供することを示した。

関連論文リスト

• Propensity Straight-Through Gradients for Discrete Stochastic Systems [0.0]
  我々は、アフィン状態の更新を利用して、正確に1段階の条件平均感度を得る。 イベント間で構成される1段階の感度は、正確に多段階の感度から逸脱する可能性があることを示す。
  論文  参考訳（メタデータ） (2026-08-26T10:59:25Z)
• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• CaliDist: Calibrating Large Language Models via Behavioral Robustness to Distraction [51.56484100374058]
  既存のLLM(Large Language Models)のキャリブレーション手法は、しばしば信頼性の重要な次元、すなわちモデルの振舞いの堅牢性を見落としている。 我々は,モデルが注意をそらす可能性を直接測定し,罰する,新しいポストホックキャリブレーション手法であるtextscCaliDistを紹介した。 textscCaliDistは、強いベースラインと比較して、期待の低いエラー(ECE)とBrier Scoreを一貫して達成します。
  論文  参考訳（メタデータ） (2026-06-04T07:27:53Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• Discovery of Hidden Miscalibration Regimes [52.452902154360565]
  モデルは何らかの入力を体系的に過信し、他人を過信することがある。 対応する誤校正分野を定義し,それを推定するための診断フレームワークを提案する。 提案手法は,入力空間のキャリブレーションを意識した表現を学習し,学習幾何学におけるカーネルの平滑化による符号付き局所的誤校正を推定する。
  論文  参考訳（メタデータ） (2026-05-13T13:07:50Z)
• A Theoretical Framework for Statistical Evaluability of Generative Models [57.9316356505791]
  本稿では、生成モデルを評価するための理論的枠組みを導入し、一般的なメトリクスに対する評価結果を確立する。 テストベースのメトリクス、例えば積分確率測定(IPM)とレニイ発散(Rényi divergences)の2つのカテゴリについて検討する。 任意の有界テストクラスに対するIPMは、乗法および加法近似誤差まで有限標本から評価できることを示す。 対照的に、レニイとKLの発散は、希少事象によってその値が批判的に決定されるため、有限標本から評価できない。
  論文  参考訳（メタデータ） (2026-04-07T01:53:59Z)
• TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same [2.755751829139168]
  ほとんどの不確実性を認識したロボットシステムは、予測の不確実性を単一のスカラースコアに分解し、それを使って一様に修正された応答をトリガーする。 このアグリゲーションは、破損した観測結果から不確実性が生じるか、あるいは学習されたモデルと真のシステム力学とのミスマッチから生じるのかを曖昧にしている。 本研究では,不確かさを動脈およびてんかん成分に分解する軽量なポストホックフレームワークを導入し,これらの信号を用いて推論時のシステム応答を調節する。
  論文  参考訳（メタデータ） (2026-03-09T09:07:43Z)
• Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
  本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。 提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。 本手法は歴史的幻覚の可能性を著しく低下させることを示す。
  論文  参考訳（メタデータ） (2026-02-27T04:49:01Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Learning to Separate RF Signals Under Uncertainty: Detect-Then-Separate vs. Unified Joint Models [53.79667447811139]
  受信した信号に直接適用した場合、単一のディープニューラルネットワークアーキテクチャが共同で検出および分離することを学習していることを示す。 これらの結果から,UJM は DTS に代わるスケーラブルで実用的な代替品であり,広範に推定された統合分離のための新たな方向を開拓した。
  論文  参考訳（メタデータ） (2026-02-04T15:25:02Z)
• Multi-Task Deep Learning for Surface Metrology [0.0]
  表面テクスチャパラメータを予測するために,再現可能な深層学習フレームワークを提案する。 不確実性は、量子的およびヘテロセダスティックなヘッドによってモデル化され、ポストホック共形キャリブレーションにより、キャリブレーションされた間隔が生成される。
  論文  参考訳（メタデータ） (2025-10-23T08:38:18Z)
• Calibrating Language Models with Adaptive Temperature Scaling [58.056023173579625]
  本稿では,各トークンの温度スケーリングパラメータを予測するポストホックキャリブレーション法であるAdaptive Temperature Scaling (ATS)を紹介する。 ATSは、以前のキャリブレーション法と比較して、3つの下流自然言語評価ベンチマークで10-50%以上のキャリブレーションを改善する。
  論文  参考訳（メタデータ） (2024-09-29T22:54:31Z)
• Evaluating probabilistic and data-driven inference models for fiber-coupled NV-diamond temperature sensors [0.7140163200313723]
  連続波光磁気共鳴(ODMR)測定による温度推定における推定モデルが不確実性に与える影響について検討した。 このモデルでは、スピンハミルトンパラメータの温度依存性を利用して、ODMRデータのスペクトル特徴から温度を推定する。
  論文  参考訳（メタデータ） (2024-09-14T17:23:20Z)
• Machine Learning for ALSFRS-R Score Prediction: Making Sense of the Sensor Data [44.99833362998488]
  筋萎縮性側索硬化症(Amyotrophic Lateral Sclerosis、ALS)は、急速に進行する神経変性疾患である。 iDPP@CLEF 2024チャレンジを先導した今回の調査は,アプリから得られるセンサデータを活用することに焦点を当てている。
  論文  参考訳（メタデータ） (2024-07-10T19:17:23Z)
• Validation of ML-UQ calibration statistics using simulated reference values: a sensitivity analysis [0.0]
  いくつかの一般的な機械学習不確実量化(ML-UQ)キャリブレーション統計は、予め定義された参照値を持っていない。 実際の不確実性から導出される合成校正データセットに基づく模擬参照値は,この問題を緩和するために提案されている。 本研究は, この問題の諸側面を考察し, 検証に使用する生成分布の選択に過度に敏感な統計結果を示す。
  論文  参考訳（メタデータ） (2024-03-01T10:19:32Z)
• Test-Time Adaptation Induces Stronger Accuracy and Agreement-on-the-Line [65.14099135546594]
  最近のテスト時間適応 (TTA) 法は, モデルに非常に弱い相関関係を示すシフトであっても, ACL と AGL の傾向を大幅に強化する。 この結果から,TTAとAGLに基づく推定手法を組み合わせることで,より広い分布シフトの集合に対する高精度なモデルOOD性能を推定できることが示唆された。
  論文  参考訳（メタデータ） (2023-10-07T23:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。