論文の概要: Accuracy and Uncertainty in Machine Deception Detection (Research White Paper)
- arxiv url: http://arxiv.org/abs/2610.15314v1
- Date: Sun, 11 Oct 2026 03:38:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.187206
- Title: Accuracy and Uncertainty in Machine Deception Detection (Research White Paper)
- Title(参考訳): 機械誤認検出における精度と不確かさ(白書研究)
- Abstract要約: この白書では,機械認識検出器を提案する。
検出精度と検出値の不確実性の両方を目標としている。
このような検知器のアンサンブルは、各スコアの不確実性を測定し、メンバーが同意した場合のみ警報を発生させる。
- 参考スコア(独自算出の注目度): 0.342658286826597
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: A deception detector is only as useful as the trust its alarms deserve. Like a polygraph, detectors that read a language model's internal activations can catch deceptive responses that look honest. Yet current detectors depend on which layers they read, weaken on broader tests, and do not state how certain their alarms are. This white paper proposes the Machine Deception Detector, which targets both detection accuracy and the uncertainty of detector scores. The detector reads every layer of the language model, learns which tokens carry evidence of deception using only response labels, and calibrates its alarm threshold so that its false--positive rate stays below a prescribed level. An ensemble of such detectors measures the uncertainty of each score and raises an alarm only when its members agree, with a confidence level that sets how certain each alarm must be. The proposed evaluation trains on instructed honest and deceptive statements, tests on five unseen deceptive tasks of Liars' Bench read by six Qwen3 models from 0.6B to 32B parameters, and is designed to also show which layers carry the deception feature and how this changes with model size.
- Abstract(参考訳): 偽造検知器は、アラームが必要とする信頼度と同じくらいに有用である。
ポリグラフのように、言語モデルの内部のアクティベーションを読み取る検出器は、正直に見える偽りの反応をキャッチできる。
しかし現在の検知器は、どの層を読み、より広いテストで弱くし、アラームがどれほど確実かは明記していない。
この白書では,検出精度と検出値の不確実性の両方を目標とするマシン・デセプタを提案する。
検知器は言語モデルのすべての層を読み出し、どのトークンが反応ラベルのみを使用して偽造の証拠を持っているかを学び、その偽陽性率が所定のレベル以下であるようにアラーム閾値を校正する。
このような検知器のアンサンブルは、各スコアの不確かさを測定し、メンバーが同意したときだけアラームを発生させる。
提案された評価は、指示された正直で詐欺的な言明、0.6Bから32Bパラメータの6つのQwen3モデルで読み取られたリアス・ベンチの5つの目に見えない偽装タスクの試験、そしてどの層が偽装特徴を持ち、モデルサイズでどのように変化するかを示すように設計されている。
関連論文リスト
- Detection-Guided Adaptive Purification with Diffusion Models for Robust Audio Deepfake Detection [3.994114606137195]
検出誘導適応浄化(英: Detection-Guided Adaptive Purification, DGAP)は、入力1回あたりの浄化強度を調整する拡散型防御法である。
本研究では,3つのディープフェイク検出器における3つの対向攻撃設定に対する枠組みの評価を行い,既存の9つの防御装置と比較した。
論文 参考訳(メタデータ) (2026-10-07T18:19:55Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳(メタデータ) (2026-09-27T13:01:02Z) - Base Models Look Human To AI Detectors [68.7723287560362]
ベースモデルから生成されたテキストは圧倒的に人間的であると判断されることが多いが、命令で調整されたテキストはそうではない。
提案するHumanization by Iterative Paraphrasing (HIP)は,ベースモデルをパラフラザーに最小限微調整し,反復的に適用する検出器非依存パイプラインである。
以上の結果から,現在の検出器は,機械生成テキストの概念よりも,命令チューニングやローカルコンテキストのアーティファクトを追跡していることが示唆された。
論文 参考訳(メタデータ) (2026-05-19T08:13:12Z) - A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。
我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。
本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
論文 参考訳(メタデータ) (2025-10-03T07:01:45Z) - A Practical Examination of AI-Generated Text Detectors for Large Language Models [25.919278893876193]
機械生成コンテンツ検出器は、様々な条件や言語モデルからそのようなテキストを識別する。
本稿では、これらの主張を、これらの検出器がこれまで遭遇していなかった領域、データセット、モデルにおいて、いくつかの一般的な検出器を評価することによって、批判的に評価する。
論文 参考訳(メタデータ) (2024-12-06T15:56:11Z) - Stumbling Blocks: Stress Testing the Robustness of Machine-Generated
Text Detectors Under Attacks [48.32116554279759]
一般的な機械生成テキスト検出器の強靭性について,編集,パラフレージング,プロンプト,コジェネレーションの様々なカテゴリの攻撃下で検討する。
我々の攻撃はジェネレータLSMへの限られたアクセスを前提としており、異なる予算レベルで異なる攻撃に対する検出器の性能を比較する。
全ての検知器を平均すると、全ての攻撃で性能は35%低下する。
論文 参考訳(メタデータ) (2024-02-18T16:36:00Z) - Red Teaming Language Model Detectors with Language Models [114.36392560711022]
大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。
近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。
1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
論文 参考訳(メタデータ) (2023-05-31T10:08:37Z) - Can AI-Generated Text be Reliably Detected? [50.95804851595018]
大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。
盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。
我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
論文 参考訳(メタデータ) (2023-03-17T17:53:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。