論文の概要: When lies are mostly truthful: automated verbal deception detection for embedded lies
- arxiv url: http://arxiv.org/abs/2501.07217v1
- Date: Mon, 13 Jan 2025 11:16:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:25:59.389485
- Title: When lies are mostly truthful: automated verbal deception detection for embedded lies
- Title(参考訳): 嘘がほとんど真実である場合--埋め込み嘘に対する自動弁別偽装検出
- Authors: Riccardo Loconte, Bennett Kleinberg,
- Abstract要約: 我々は2,088件の真偽と偽造文を注釈付き埋め込み嘘で収集した。
そこで本研究では,微調整言語モデル(Llama-3-8B)が真理文を分類し,埋め込み型言語が64%の精度で嘘をつくことを示す。
- 参考スコア(独自算出の注目度): 0.3867363075280544
- License:
- Abstract: Background: Verbal deception detection research relies on narratives and commonly assumes statements as truthful or deceptive. A more realistic perspective acknowledges that the veracity of statements exists on a continuum with truthful and deceptive parts being embedded within the same statement. However, research on embedded lies has been lagging behind. Methods: We collected a novel dataset of 2,088 truthful and deceptive statements with annotated embedded lies. Using a within-subjects design, participants provided a truthful account of an autobiographical event. They then rewrote their statement in a deceptive manner by including embedded lies, which they highlighted afterwards and judged on lie centrality, deceptiveness, and source. Results: We show that a fined-tuned language model (Llama-3-8B) can classify truthful statements and those containing embedded lies with 64% accuracy. Individual differences, linguistic properties and explainability analysis suggest that the challenge of moving the dial towards embedded lies stems from their resemblance to truthful statements. Typical deceptive statements consisted of 2/3 truthful information and 1/3 embedded lies, largely derived from past personal experiences and with minimal linguistic differences with their truthful counterparts. Conclusion: We present this dataset as a novel resource to address this challenge and foster research on embedded lies in verbal deception detection.
- Abstract(参考訳): 背景: 動詞の騙し検出研究は物語に依存しており、文言を真偽または偽造とみなすのが一般的である。
より現実的な観点では、文の真正性は連続体に存在し、真偽の部分は同一の文の中に埋め込まれている。
しかし、埋め込み嘘の研究は遅れを取っている。
方法: 2,088件の真偽と偽造文を,注釈付き埋め込み嘘で収集した。
参加者は、インテリアオブジェクトの設計を使用して、自伝的な出来事の真理な説明を提供した。
その後、彼らは埋め込み嘘を含めて偽りの方法で書き直し、それが後に強調され、嘘の中央性、偽り、情報源に基づいて判断された。
結果: 微調整言語モデル(Llama-3-8B)は真理文を分類でき, 埋め込み文は64%の精度で嘘をつく。
個人差、言語的特性、説明可能性の分析は、ダイヤルを埋め込みに向けて移動させることの難しさは、真理に類似していることから来ていることを示唆している。
典型的には2/3の真偽情報と1/3の埋め込み嘘から成り、それらは主に過去の個人的な経験から派生し、真偽の情報と最小限の言語的差異を持つ。
結論: このデータセットを新たな資源として提示し, この課題に対処し, 単語の誤検出における埋込嘘の研究を促進する。
関連論文リスト
- How Entangled is Factuality and Deception in German? [10.790059579736276]
偽造検出と事実チェックの研究は、しばしば事実の正確さと文の真偽を混同する。
信念に基づく騙しフレームワークは、人々が何を言っているのか、本当に信じるのかのミスマッチがあるときに、テキストを欺くものとして定義することで、これらの特性を歪めます。
確立された信念に基づく議論のコーパスを用いて,嘘検出における計算モデルの有効性を検証した。
論文 参考訳(メタデータ) (2024-09-30T10:23:13Z) - Grounding Fallacies Misrepresenting Scientific Publications in Evidence [84.32990746227385]
誤検出データセットMisciの拡張であるMisciPlusを紹介する。
MissciPlusはMissci上に構築されており、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。
MissciPlusは、現実世界の誤った証拠と誤った主張を組み合わせた最初の論理的誤認データセットである。
論文 参考訳(メタデータ) (2024-08-23T03:16:26Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:11:10Z) - Truth-Aware Context Selection: Mitigating Hallucinations of Large Language Models Being Misled by Untruthful Contexts [31.769428095250912]
大規模言語モデル(LLM)は、ユーザや知識強化ツールが提供する非現実的なコンテキストによって容易に誤解される。
本稿では,入力から非現実的コンテキストを適応的に認識し,マスクするために,TACS(Trath-Aware Context Selection)を提案する。
TACSは,非現実的な文脈を効果的にフィルタリングし,誤解を招く情報を提示した場合のLLMの応答の全体的な品質を著しく向上させることができることを示す。
論文 参考訳(メタデータ) (2024-03-12T11:40:44Z) - Cognitive Dissonance: Why Do Language Model Outputs Disagree with
Internal Representations of Truthfulness? [53.98071556805525]
ニューラルネットワークモデル(LM)は、事実文の真偽を評価するために用いられる。
それらは、文の確率を問い合わせたり、真理の表現を内部で探したりすることができる。
過去の研究によると、これらの2つの手順は時折不一致であり、プローブはLM出力よりも正確である。
この結果、一部の研究者は、LMが非協力的なコミュニケーション意図を「十分」あるいは他の方法でコード化していると結論付けている。
論文 参考訳(メタデータ) (2023-11-27T18:59:14Z) - To Tell The Truth: Language of Deception and Language Models [6.80186731352488]
我々は,ハイテイク環境における会話が嘘をつくような,新しいテレビ番組データを分析する。
客観的な真理の存在下での偽りの潜在的な検証可能な言語手がかりの顕在化について検討する。
人間の被験者と同じような真理検出性能を持つ検出器群(アルゴリズム)が存在することを示す。
論文 参考訳(メタデータ) (2023-11-13T05:40:11Z) - Lost in Translation -- Multilingual Misinformation and its Evolution [52.07628580627591]
本稿では,95言語にまたがる25万以上のファクトチェックの分析を通じて,多言語誤報の頻度とダイナミクスについて検討する。
誤報のクレームの大部分は1回だけ事実チェックされているが、21,000件以上のクレームに対応する11.7%は複数回チェックされている。
誤情報拡散のプロキシとしてファクトチェックを用いると、言語境界を越えて繰り返し主張する主張の33%が見つかる。
論文 参考訳(メタデータ) (2023-10-27T12:21:55Z) - Truth Machines: Synthesizing Veracity in AI Language Models [0.0]
我々は、AIシステムにおける真理の闘争と、現在までの一般的な対応について議論する。
その後、大規模な言語モデルであるInstructGPTにおける真理の生成について調査する。
これらの論理と矛盾はChatGPTで発生し、真理を非自明な問題として繰り返し主張する。
論文 参考訳(メタデータ) (2023-01-28T02:47:50Z) - Machine Learning based Lie Detector applied to a Collected and Annotated
Dataset [1.3007851628964147]
我々は,嘘のインセンティブを与えるカードゲーム中に,異なる参加者の顔の注釈付き画像と3d情報を含むデータセットを収集した。
収集したデータセットを用いて、一般化、個人的および横断的な嘘検出実験により、機械学習ベースの嘘検出装置を複数評価した。
本実験では, 深層学習モデルが一般化タスクに対して57%, 単一参加者に対して63%の精度で嘘を認識する上で優れていることを示した。
論文 参考訳(メタデータ) (2021-04-26T04:48:42Z) - Did they answer? Subjective acts and intents in conversational discourse [48.63528550837949]
英会話の複数の主観的かつ主観的な解釈を含む最初の対話データセットを提示する。
意見の相違が曖昧であることを示し、異なる文脈要因についてより深く理解する必要がある。
論文 参考訳(メタデータ) (2021-04-09T16:34:19Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。