論文の概要: A persistent accuracy ceiling in automated verbal deception detection

• arxiv url: http://arxiv.org/abs/2610.12118v1
• Date: Thu, 08 Oct 2026 15:15:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.110527
• Title: A persistent accuracy ceiling in automated verbal deception detection
• Title（参考訳）: 自動発声検出における持続的精度天井
• Abstract要約: 人間の言語障害検出の限界を克服する自動化手法が提案されている。 25年間の研究(289件の報告、6,136件の分類モデル)とメタアナライズされた3,653件のモデルを97データセット内にネストした。 プールされた精度は、手動によるアプローチのメタ分析と一致しており、現在の研究慣行によって持ち上げられそうにない70-75%の天井が示唆されている。
• 参考スコア（独自算出の注目度）: 0.28707625120094377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated methods have been proposed to overcome the limitations of human verbal deception detection, but evidence remains fragmented across disciplines. We systematically reviewed 25 years of research (289 reports, 6,136 classification models) and meta-analyzed 3,653 models nested within 97 datasets. Pooled accuracy was 74.4% (95% CI: 71.2%-77.4%) with substantial heterogeneity. Accuracy was driven by methodological quality (ground truth, data source, class balance, evaluation procedure) more than by model complexity: the adoption of embeddings and large language models has not translated into improved predictive performance. Only 12.46% of reports used data with verifiable ground-truth, and only 23.96% of models were evaluated on independent data. The pooled accuracy aligns with meta-analyses of manual approaches, suggesting a ceiling of 70-75%, unlikely to be lifted by current research conventions.
• Abstract（参考訳）: 人間の言語障害検出の限界を克服する自動化手法が提案されているが、証拠は分野によって断片化されている。 25年間の研究(289件の報告、6,136件の分類モデル)とメタアナライズされた3,653件のモデルを97データセット内にネストした。 ポーリング精度は74.4%(95%CI:71.2%-77.4%)で、かなり不均一である。 精度は、モデル複雑さよりも、方法論的な品質(地上の真実、データソース、クラスバランス、評価手順)によって引き起こされた。 12.46%の報告のみが、検証可能な地道のデータを使用し、23.96%のモデルは独立したデータで評価された。 プールされた精度は、手動によるアプローチのメタ分析と一致しており、現在の研究慣行によって持ち上げられそうにない70-75%の天井が示唆されている。

関連論文リスト

• Error Detection for PET/CT Radiology Reports: Domain-Specific vs Large Language Models [2.916755720836074]
  大言語モデル (LLMs) は放射線学報告の検証のために提案されているが, 臨床的に有意な誤りを検出する能力はいまだ探索されていない。 PET/CTレポートの誤り検出のための言語モデルの最初の体系的評価を行い、コンパクトなドメイン固有モデルとSOTAオープンウェイトLLMを比較した。 臨床的に動機付けられた合成報告エラーを検出するために,ドメイン固有BERTモデルを訓練し,0/few-shot Qwen3-32B,Gemma-3-27B,Llama-3.3-70Bを11,500のベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-08-30T20:23:01Z)
• Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
  現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。 我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
  論文  参考訳（メタデータ） (2025-10-16T12:23:13Z)
• Approximating Language Model Training Data from Weights [70.08614275061689]
  モデル重みからデータ近似の問題を定式化し、いくつかのベースラインとメトリクスを提案する。 そこで我々は,大規模公開テキストコーパスから最高のマッチングデータを選択する勾配に基づく手法を開発した。 真のトレーニングデータがない場合でも、我々の方法では、公開Webドキュメントの小さなサブセットを見つけることができる。
  論文  参考訳（メタデータ） (2025-06-18T15:26:43Z)
• Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
  新規データや不完全データでは,性能が著しく低下することがわかった。 これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。 本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-03-06T15:36:06Z)
• Improving the accuracy of automated labeling of specimen images datasets via a confidence-based process [9.0255922670433]
  本稿では,自動ラベリング精度を大幅に向上させる手法を提案する。 初期精度の86%を生んだナイーブモデルでは,性能が向上することが実証された。 このアプローチを様々な方法で検証した後、60,000以上のハーバリウム標本の大規模なデータセットに注釈を付けました。
  論文  参考訳（メタデータ） (2024-11-15T09:39:12Z)
• Probabilistic Consensus through Ensemble Validation: A Framework for LLM Reliability [0.0]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩を示しているが、自律的なデプロイメントに必要な信頼性を欠いていることが多い。 本稿では,モデルコンセンサスを通じて,コンテンツ検証のためのアンサンブル手法を再利用する新しいフレームワークを提案する。 事実の精度と因果一貫性を必要とする78症例を対象としたテストでは, 精度が73.1%から93.9%に向上した。
  論文  参考訳（メタデータ） (2024-11-10T17:32:16Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。