論文の概要: How Entangled is Factuality and Deception in German?

• arxiv url: http://arxiv.org/abs/2409.20165v1
• Date: Mon, 30 Sep 2024 10:23:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-02 13:17:58.990970
• Title: How Entangled is Factuality and Deception in German?
• Title（参考訳）: ドイツ語の「虚偽」と「虚偽」はどのように絡み合っているか
• Authors: Aswathy Velutharambath, Amelie Wührl, Roman Klinger,
• Abstract要約: 偽造検出と事実チェックの研究は、しばしば事実の正確さと文の真偽を混同する。 信念に基づく騙しフレームワークは、人々が何を言っているのか、本当に信じるのかのミスマッチがあるときに、テキストを欺くものとして定義することで、これらの特性を歪めます。 確立された信念に基づく議論のコーパスを用いて,嘘検出における計算モデルの有効性を検証した。
• 参考スコア（独自算出の注目度）: 10.790059579736276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The statement "The earth is flat" is factually inaccurate, but if someone truly believes and argues in its favor, it is not deceptive. Research on deception detection and fact checking often conflates factual accuracy with the truthfulness of statements. This assumption makes it difficult to (a) study subtle distinctions and interactions between the two and (b) gauge their effects on downstream tasks. The belief-based deception framework disentangles these properties by defining texts as deceptive when there is a mismatch between what people say and what they truly believe. In this study, we assess if presumed patterns of deception generalize to German language texts. We test the effectiveness of computational models in detecting deception using an established corpus of belief-based argumentation. Finally, we gauge the impact of deception on the downstream task of fact checking and explore if this property confounds verification models. Surprisingly, our analysis finds no correlation with established cues of deception. Previous work claimed that computational models can outperform humans in deception detection accuracy, however, our experiments show that both traditional and state-of-the-art models struggle with the task, performing no better than random guessing. For fact checking, we find that Natural Language Inference-based verification performs worse on non-factual and deceptive content, while prompting Large Language Models for the same task is less sensitive to these properties.
• Abstract（参考訳）: 地球は平らである」という文は事実的に不正確なものであるが、誰かが真に信じ、その好意を主張するなら、それは偽りではない。 偽造検出と事実チェックの研究は、しばしば事実の正確さと文の真偽を混同する。 この仮定は難しい。 (a)両者の微妙な区別と相互作用を研究する (b)下流タスクへの影響を測る。 信念に基づく騙しフレームワークは、人々が何を言っているのか、本当に信じるのかのミスマッチがあるときに、テキストを欺くものとして定義することで、これらの特性を歪めます。 本研究では, 偽造の想定パターンがドイツ語のテキストに一般化されるかどうかを評価する。 確立された信念に基づく議論のコーパスを用いて,嘘検出における計算モデルの有効性を検証した。 最後に, 事実確認の下流課題に対する偽証の影響を評価し, この特性が検証モデルに矛盾するかどうかを考察する。 意外なことに、我々の分析では、確立された偽造の手がかりと相関は見つからない。 これまでの研究では、計算モデルは誤検出精度で人間より優れていると主張したが、我々の実験では、従来のモデルと最先端のモデルの両方がタスクに苦労し、ランダムな推測に勝ることを示した。 事実チェックでは、自然言語推論に基づく検証は、非事実的および偽装的コンテンツに対してより悪く、一方、同じタスクに対して大規模言語モデルを促すことは、これらの特性にはあまり敏感ではない。

関連論文リスト

• Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models [29.67884478799914]
  大きな言語モデル(LLM)は、その答えを正当化するために説得力のある自然言語説明(NLE)を生成することができる。 近年,NLEの忠実度を測定するための様々な手法が提案されている。 これらのアプローチは、確立された忠実性の定義に従って包括的でも正しくも設計されていない、と我々は主張する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:42Z)
• Truth-value judgment in language models: belief directions are context sensitive [2.324913904215885]
  大きな言語モデルの潜在空間は、文の真理を予測する方向を含む。 複数の手法がそのような方向を復元し、モデルの"知識"や"信条"に到達したと説明されるプローブを構築する。 本研究では、この現象を調査し、文脈がプローブに与える影響を詳しく検討する。
  論文  参考訳（メタデータ） (2024-04-29T16:52:57Z)
• Can Deception Detection Go Deeper? Dataset, Evaluation, and Benchmark for Deception Reasoning [48.11096630736294]
  偽装検出を偽装推論に拡張する。 具体的には、潜在的な嘘と基本的な事実を提供し、この文がなぜ嘘なのかを分析する。 本稿では,データセットの構築や評価指標の定義など,この課題に対する最初の試みについて述べる。
  論文  参考訳（メタデータ） (2024-02-18T02:52:54Z)
• BaRDa: A Belief and Reasoning Dataset that Separates Factual Accuracy and Reasoning Ability [35.743903178120895]
  BaRDaデータセットには3000のエンターメントが含まれている(1787年有効、1213年無効) 実際の精度(真実)は74.1/80.6/82.6/87.1で、推論精度は63.1/78.0/71.8/79.2である。 このことは、事実の正確さと細部推論を改善するためのモデルの明確な進歩を示している。
  論文  参考訳（メタデータ） (2023-12-12T18:55:43Z)
• Cognitive Dissonance: Why Do Language Model Outputs Disagree with Internal Representations of Truthfulness? [53.98071556805525]
  ニューラルネットワークモデル(LM)は、事実文の真偽を評価するために用いられる。 それらは、文の確率を問い合わせたり、真理の表現を内部で探したりすることができる。 過去の研究によると、これらの2つの手順は時折不一致であり、プローブはLM出力よりも正確である。 この結果、一部の研究者は、LMが非協力的なコミュニケーション意図を「十分」あるいは他の方法でコード化していると結論付けている。
  論文  参考訳（メタデータ） (2023-11-27T18:59:14Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
  実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。 我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
  論文  参考訳（メタデータ） (2021-07-05T17:31:44Z)
• On the (Un-)Avoidability of Adversarial Examples [4.822598110892847]
  ディープラーニングモデルの逆例は、その信頼性に大きな懸念を引き起こしている。 小摂動下でのモデルラベルの変更が正当化されるかどうかを決定するためのフレームワークを提供する。 適応的なデータ拡張は、決定論的ラベルの下で1-アレスト近傍の分類の整合性を維持していることを示す。
  論文  参考訳（メタデータ） (2021-06-24T21:35:25Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
  我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。 結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
  論文  参考訳（メタデータ） (2020-05-12T11:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。