論文の概要: Truth is Universal: Robust Detection of Lies in LLMs

• arxiv url: http://arxiv.org/abs/2407.12831v2
• Date: Mon, 21 Oct 2024 08:55:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 20:25:29.647424
• Title: Truth is Universal: Robust Detection of Lies in LLMs
• Title（参考訳）: 真実は普遍である: LLMにおける嘘のロバスト検出
• Authors: Lennart Bürger, Fred A. Hamprecht, Boaz Nadler,
• Abstract要約: 大きな言語モデル(LLM)は自然言語処理に革命をもたらし、印象的な人間的な能力を示している。 本研究では,LLMが横になっていることを検知するロバストな手法を開発することを目的とする。 我々は、真と偽の文の活性化ベクトルを分離できる2次元部分空間の存在を実証する。 この発見は普遍的であり、Gemma-7B、LLaMA2-13B、Mistral-7B、LLaMA3-8Bなど様々なLLMを保有している。 我々の分析は、過去の研究で観察された一般化の失敗を説明し、さらなる段階を定めている。
• 参考スコア（独自算出の注目度）: 18.13311575803723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have revolutionised natural language processing, exhibiting impressive human-like capabilities. In particular, LLMs are capable of "lying", knowingly outputting false statements. Hence, it is of interest and importance to develop methods to detect when LLMs lie. Indeed, several authors trained classifiers to detect LLM lies based on their internal model activations. However, other researchers showed that these classifiers may fail to generalise, for example to negated statements. In this work, we aim to develop a robust method to detect when an LLM is lying. To this end, we make the following key contributions: (i) We demonstrate the existence of a two-dimensional subspace, along which the activation vectors of true and false statements can be separated. Notably, this finding is universal and holds for various LLMs, including Gemma-7B, LLaMA2-13B, Mistral-7B and LLaMA3-8B. Our analysis explains the generalisation failures observed in previous studies and sets the stage for more robust lie detection; (ii) Building upon (i), we construct an accurate LLM lie detector. Empirically, our proposed classifier achieves state-of-the-art performance, attaining 94% accuracy in both distinguishing true from false factual statements and detecting lies generated in real-world scenarios.
• Abstract（参考訳）: 大きな言語モデル(LLM)は自然言語処理に革命をもたらし、印象的な人間的な能力を示している。 特にLLMは、意図的に偽の文を出力する"lying"能力を持つ。 したがって、LSMがいつあるかを検出する手法を開発することが重要かつ重要である。 実際、いくつかの著者はLPMを検出するための分類器を内部モデルアクティベーションに基づいて訓練した。 しかし、他の研究者はこれらの分類器が一般化に失敗する可能性があることを示した。 本研究では,LLMが横になっていることを検知するロバストな手法を開発することを目的とする。 この目的のために、我々は以下の重要な貢献をしている。 i) 真と偽の文の活性化ベクトルを分離できる2次元部分空間の存在を実証する。 特に、この発見は普遍的であり、Gemma-7B、LLaMA2-13B、Mistral-7B、LLaMA3-8Bなど様々なLLMを保有している。 我々の分析は、過去の研究で見られた一般化の失敗を説明し、より堅牢な嘘検出のステージを設定します。 (二)造営 i) 正確なLLM嘘検出装置を構築した。 実証的に,提案した分類器は,虚偽の事実文と偽の事実文を区別し,実世界のシナリオで生成した嘘を検出することにより,94%の精度を達成できる。

関連論文リスト

• AI-LieDar: Examine the Trade-off Between Utility and Truthfulness in LLM Agents [27.10147264744531]
  マルチターン対話環境において,言語エージェントが実効性と実効性に相反するシナリオをナビゲートする方法について検討した。 エージェントの反応を評価するために,心理文献にヒントを得た真正性検知装置を開発した。 我々の実験は、すべてのモデルが50%未満の真理であることを示したが、真理性と目標達成率(実用性)はモデルによって異なる。
  論文  参考訳（メタデータ） (2024-09-13T17:41:12Z)
• A Probabilistic Framework for LLM Hallucination Detection via Belief Tree Propagation [72.93327642336078]
  本稿では,幻覚検出のための確率的フレームワークであるBelief Tree Propagation (BTProp)を提案する。 BTPropは、親ステートメントを子ステートメントに分解することで、論理的に関連するステートメントの信念ツリーを導入する。 複数の幻覚検出ベンチマークにおいて,AUROCとAUC-PRにより評価された基準線を3%-9%改善する。
  論文  参考訳（メタデータ） (2024-06-11T05:21:37Z)
• Potential and Limitations of LLMs in Capturing Structured Semantics: A Case Study on SRL [78.80673954827773]
  大きな言語モデル(LLM)は、言語理解を高め、解釈可能性を改善し、バイアスを減らすために構造化セマンティクスをキャプチャする上で重要な役割を果たす。 セマンティック・ロール・ラベルリング(SRL)を,構造化意味論を抽出するLLMの能力を探るための基本課題として用いることを提案する。 LLMは実際にセマンティック構造をキャプチャすることができ、スケールアップは常にポテンシャルを反映するわけではない。 エラーのかなりの重複は、LLMと訓練されていない人間の両方によって行われ、全てのエラーの約30%を占めることに私たちは驚いています。
  論文  参考訳（メタデータ） (2024-05-10T11:44:05Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection Method [36.24876571343749]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。 近年の文献では、LLMは断続的に非実効応答を生成する。 本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
  論文  参考訳（メタデータ） (2023-10-27T06:22:14Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets [6.732432949368421]
  大きな言語モデル(LLM)には印象的な能力があるが、偽装を出力する傾向がある。 近年の研究では、LLMの内部アクティベーションに関するプローブを訓練することで、LLMが真実を語っているかどうかを推測する手法が開発されている。 十分な規模で LLM が実言の真偽を線形に表す証拠を示す。
  論文  参考訳（メタデータ） (2023-10-10T17:54:39Z)
• How to Catch an AI Liar: Lie Detection in Black-Box LLMs by Asking Unrelated Questions [34.53980255211931]
  大きな言語モデル(LLM)は、実証可能な意味で真実を「知る」にもかかわらず、偽の文を出力するものとして定義できる。 そこで本研究では,LSMのアクティベーションへのアクセスや,問題となっている事実の地味な知識を必要としない簡易な嘘検出装置を開発する。 シンプルさにもかかわらず、この嘘検出装置は非常に正確で、驚くほど一般的です。
  論文  参考訳（メタデータ） (2023-09-26T16:07:54Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• Red Teaming Language Model Detectors with Language Models [114.36392560711022]
  大規模言語モデル(LLM)は、悪意のあるユーザによって悪用された場合、重大な安全性と倫理的リスクをもたらす。 近年,LLM生成テキストを検出し,LLMを保護するアルゴリズムが提案されている。 1) LLMの出力中の特定の単語を, 文脈が与えられたシノニムに置き換えること, 2) 生成者の書き方を変更するための指示プロンプトを自動で検索すること,である。
  論文  参考訳（メタデータ） (2023-05-31T10:08:37Z)
• The Internal State of an LLM Knows When It's Lying [18.886091925252174]
  大規模言語モデル(LLM)は、様々なタスクにおいて例外的なパフォーマンスを示している。 彼らの最も顕著な欠点の1つは、自信のあるトーンで不正確または偽の情報を生成することである。 我々は, LLMの内部状態が文の真偽を明らかにするのに有効であることを示す証拠を提供する。
  論文  参考訳（メタデータ） (2023-04-26T02:49:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。