論文の概要: How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
- arxiv url: http://arxiv.org/abs/2606.29809v1
- Date: Mon, 29 Jun 2026 05:43:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.062846
- Title: How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation
- Title（参考訳）: GPU無しでどこまで行けるか? 質問応答、対話、要約を含む、軽量幻覚検出のシステムベンチマーク
- Abstract要約: 公開されているモデル上に構築された軽量でCPU対応のメソッドのみを使用して、幻覚検出がいかにうまく機能するかを示す。
ROUGE-L,意味的類似性,BERTScore,FEVERで訓練されたDeBERTaモデルに基づく自然言語推論検出,類似度とNLIのスコアレベルアンサンブルの5つの手法をベンチマークした。
ひとつのメソッドが支配的であり、パフォーマンスがタスク依存であることに気付きました。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hallucination detection has become a pressing requirement for trustworthy AI deployment at scale. The most accurate detection methods depend on GPU-intensive inference, proprietary API calls, or white-box access to the generating model. This puts them out of reach for resource-constrained researchers and practitioners. In this paper, we explore a practical alternative: how well can hallucination detection perform using only lightweight, CPU-feasible methods built on publicly available models? We systematically benchmark five such methods: ROUGE-L, semantic similarity, BERTScore, a Natural Language Inference (NLI) detector based on a FEVER-trained DeBERTa model, and a score-level ensemble of similarity and NLI. We evaluate them across all three tasks of the HaluEval benchmark: question answering (QA), dialogue, and summarisation. We calibrate each method on a held-out validation split and evaluate it on 2,000 test instances per task. We find that no single method dominates and performance is highly task-dependent. The ensemble performs best on QA (F1 = 0.792, AUC-ROC = 0.873), the NLI detector leads on dialogue (AUC-ROC = 0.713), and all five methods degrade to near-random performance on summarisation (AUC-ROC between 0.469 and 0.574). This task-dependence and the systematic failure on summarisation map the practical frontier of GPU-free hallucination detection. They give practical guidance for method selection under computational constraints. All experiments run on a standard laptop CPU using public models.
- Abstract（参考訳）: 幻覚検出は、信頼性の高いAIを大規模に展開する上で、重要な要件となっている。
最も正確な検出方法は、GPU集約推論、プロプライエタリなAPI呼び出し、生成モデルへのホワイトボックスアクセスに依存する。
これにより、リソースに制約のある研究者や実践者には手の届かないものになります。
本稿では, 一般公開モデル上に構築された軽量CPU実現可能な方法のみを用いて, 幻覚検出をいかに効果的に行うことができるか, について検討する。
我々は,ROUGE-L,意味的類似性,BERTScore,FEVER訓練されたDeBERTaモデルに基づく自然言語推論(NLI)検出器,類似度とNLIのスコアレベルアンサンブルの5つの手法を体系的にベンチマークした。
本稿では,質問応答(QA),対話,要約という,HaluEvalベンチマークの3つのタスクすべてについて評価する。
我々は各メソッドを保留検証分割で校正し、タスク毎に2,000のテストインスタンスで評価する。
ひとつのメソッドが支配的であり、パフォーマンスがタスク依存であることに気付きました。
アンサンブルはQA(F1 = 0.792, AUC-ROC = 0.873)で、NLI検出器は対話(AUC-ROC = 0.713)で、全ての5つのメソッドは要約(AUC-ROC: 0.469 - 0.574)でほぼランダムなパフォーマンスに劣化する。
このタスク依存性と要約の体系的失敗は、GPUのない幻覚検出の実用的フロンティアをマッピングする。
それらは、計算制約下でのメソッド選択の実践的なガイダンスを与える。
すべての実験は、標準のラップトップCPU上で公開モデルを使用して実行される。
関連論文リスト
- Agentic Autoresearch for CT Reconstruction [6.987253902215927]
5月低用量CT(ノイズリミット)と128ビュースパースビュー乳房タスクで26の手法をベンチマークした。
訓練された乳房モデルはすべて、再訓練せずにノイズ入力で再検査され、一致した雑音で別々に再訓練された。
ベンチマークは1つの勝者ではなく、統計的に区別できないトップメソッドの層を提供する。
論文 参考訳（メタデータ） (2026-07-24T18:03:21Z) - Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
新しいテストタイムアライメントアプローチであるQAlignを紹介します。
テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。
マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
論文 参考訳（メタデータ） (2025-04-04T00:41:40Z) - Reproducible Machine Learning-based Voice Pathology Detection: Introducing the Pitch Difference Feature [1.7779568951268254]
本稿では,現在公開されているSaarbr"ucken Voice Databaseを用いた音声病理診断手法を提案する。
機械学習(ML)アルゴリズムを6つ評価する - サポートベクターマシン、kネアレスト隣人、ナイーブベイズ、決定木、ランダムフォレスト、AdaBoost。
アプローチは, 女性, 男性, 合計で85.61%, 84.69%, および85.22%であった。
論文 参考訳（メタデータ） (2024-10-14T14:17:52Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳（メタデータ） (2024-06-21T20:06:31Z) - ML-based identification of the interface regions for coupling local and nonlocal models [0.0]
局所非局所カップリングアプローチは、局所モデルの計算効率と非局所モデルの精度を組み合わせる。
本研究では,局所モデルと非局所モデルを用いるべき領域を自動的に検出する機械学習アプローチを提案する。
論文 参考訳（メタデータ） (2024-04-23T14:19:36Z) - Min-K%++: Improved Baseline for Detecting Pre-Training Data from Large Language Models [15.50128790503447]
我々はMin-K%++という名前の事前学習データ検出のための新しい理論的動機付け手法を提案する。
具体的には,各入力次元に沿ったモデル分布の局所的な最大値であることを示す。
論文 参考訳（メタデータ） (2024-04-03T04:25:01Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳（メタデータ） (2023-11-07T08:27:14Z) - Boundary Peeling: Outlier Detection Method Using One-Class Peeling [2.5541390083392437]
教師なし外乱検出アルゴリズムであるOne-Class Boundary Peelingを導入する。
一級境界ピーリングは、一級支持ベクトルマシンによって生成される反復的にピアリングされたフレキシブルな境界からの平均符号付き距離を使用する。
合成データシミュレーションでは、一級境界ピーリングは、外れ値が存在しない場合、アートメソッドのすべての状態を上回ります。
論文 参考訳（メタデータ） (2023-09-11T17:19:07Z) - DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability
Curvature [143.5381108333212]
大規模な言語モデルからサンプリングされたテキストは、モデルのログ確率関数の負の曲率領域を占有する傾向にあることを示す。
次に、与えられたLLMから通路が生成されるかどうかを判断するための新しい曲率ベースの基準を定義する。
我々は、モデルサンプル検出のための既存のゼロショット法よりもディテクターGPTの方が識別性が高いことを発見した。
論文 参考訳（メタデータ） (2023-01-26T18:44:06Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳（メタデータ） (2022-12-26T15:13:13Z) - EAutoDet: Efficient Architecture Search for Object Detection [110.99532343155073]
EAutoDetフレームワークは、1.4GPU日でオブジェクト検出のための実用的なバックボーンとFPNアーキテクチャを検出できる。
本稿では,一方のエッジ上での候補演算の重みを共有し,それらを一つの畳み込みに集約することでカーネル再利用手法を提案する。
特に、発見されたアーキテクチャは最先端のオブジェクト検出NAS法を超越し、120 FPSで40.1 mAP、49.2 mAP、41.3 FPSをCOCOテストデブセットで達成している。
論文 参考訳（メタデータ） (2022-03-21T05:56:12Z) - IRLI: Iterative Re-partitioning for Learning to Index [104.72641345738425]
分散環境でのロードバランスとスケーラビリティを維持しながら、高い精度を得る方法とのトレードオフが必要だ。
クエリ項目関連データから直接バケットを学習することで、アイテムを反復的に分割するIRLIと呼ばれる新しいアプローチを提案する。
我々は,irliが極めて自然な仮定の下で高い確率で正しい項目を検索し,優れた負荷分散を実現することを数学的に示す。
論文 参考訳（メタデータ） (2021-03-17T23:13:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。