論文の概要: Uncertainty Resolution in Misinformation Detection

• arxiv url: http://arxiv.org/abs/2401.01197v1
• Date: Tue, 2 Jan 2024 13:01:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 14:02:17.303378
• Title: Uncertainty Resolution in Misinformation Detection
• Title（参考訳）: 誤情報検出における不確かさ
• Authors: Yury Orlovskiy, Camille Thibault, Anne Imouza, Jean-Fran\c{c}ois Godbout, Reihaneh Rabbany, Kellin Pelrine
• Abstract要約: 本稿では、行方不明情報を分類し、LIAR-Newデータセットのカテゴリラベルを公開するためのフレームワークを提案する。 次に、このフレームワークを利用して、欠落したコンテキストに対して効果的なユーザクエリを生成します。
• 参考スコア（独自算出の注目度）: 5.912792105701257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Misinformation poses a variety of risks, such as undermining public trust and distorting factual discourse. Large Language Models (LLMs) like GPT-4 have been shown effective in mitigating misinformation, particularly in handling statements where enough context is provided. However, they struggle to assess ambiguous or context-deficient statements accurately. This work introduces a new method to resolve uncertainty in such statements. We propose a framework to categorize missing information and publish category labels for the LIAR-New dataset, which is adaptable to cross-domain content with missing information. We then leverage this framework to generate effective user queries for missing context. Compared to baselines, our method improves the rate at which generated questions are answerable by the user by 38 percentage points and classification performance by over 10 percentage points macro F1. Thus, this approach may provide a valuable component for future misinformation mitigation pipelines.
• Abstract（参考訳）: 誤報は、公的な信頼を損なうこと、事実を歪めることなど、様々なリスクを引き起こす。 GPT-4のような大規模言語モデル(LLM)は、誤情報を軽減し、特に十分なコンテキストを提供する文を扱うのに有効である。 しかし、曖昧さや文脈に欠ける文を正確に評価することは困難である。 本研究は,このような文の不確実性を解決する新しい手法を提案する。 本稿では、欠落情報を分類し、欠落情報を持つクロスドメインコンテンツに適用可能なLIAR-Newデータセットのカテゴリラベルを公開するフレームワークを提案する。 次に、このフレームワークを利用して、欠落したコンテキストに対して効果的なユーザクエリを生成します。 ベースラインと比較すると,生成した質問に対する回答率を38パーセンテージ,分類性能を10パーセンテージマクロf1以上向上させる。 したがって、このアプローチは、将来の誤情報軽減パイプラインに価値のあるコンポーネントを提供するかもしれない。

関連論文リスト

• Efficient Annotator Reliability Assessment and Sample Weighting for Knowledge-Based Misinformation Detection on Social Media [0.33859507757954027]
  本研究は,誤情報検出に対する知識に基づくアプローチを取り入れ,自然言語推論の手法と類似した問題をモデル化する。 EffiARAアノテーションフレームワークは、アノテーション間の合意とアノテーション間の合意を利用して、各アノテーションの信頼性を理解することを目的としている。 本研究は,アノテータ信頼度を用いたサンプル重み付けが,アノテータ間およびアノテータ内合意とソフトラベルトレーニングの両方を活用することにより,最良であることを示す。
  論文  参考訳（メタデータ） (2024-10-18T14:54:40Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Description Boosting for Zero-Shot Entity and Relation Classification [5.8959034854546815]
  我々は、ゼロショット学習(ZSL)手法が、エンティティ(または関係)のテキスト記述に敏感であることを示す。 本稿では、初期記述のバリエーションを生成するための戦略と、記述拡張によるゼロショットモデルの予測を向上するアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2024-06-04T12:09:44Z)
• Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
  フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。 我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。 本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
  論文  参考訳（メタデータ） (2024-02-08T10:52:37Z)
• Demonstrations Are All You Need: Advancing Offensive Content Paraphrasing using In-Context Learning [10.897468059705238]
  監督されたパラフレーズは、意味と意図を維持するために大量のラベル付きデータに大きく依存している。 本稿では,大規模言語モデル(LLM)を用いたICL(In-Context Learning)を探索し,実践者を支援することを目的とする。 本研究は, 実演数と順序, 即時指導の排除, 測定毒性の低下など, 重要な要因に焦点を当てた。
  論文  参考訳（メタデータ） (2023-10-16T16:18:55Z)
• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Investigating the Limitation of CLIP Models: The Worst-Performing Categories [53.360239882501325]
  コントラスト言語-画像事前学習(CLIP)は、自然言語を視覚概念に統合する基礎モデルを提供する。 通常、十分に設計されたテキストプロンプトによって、多くの領域で満足な全体的な精度が達成できると期待されている。 しかし、最悪のカテゴリにおけるパフォーマンスは、全体的なパフォーマンスよりも著しく劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T05:37:33Z)
• Towards Reliable Misinformation Mitigation: Generalization, Uncertainty, and GPT-4 [5.313670352036673]
  GPT-4は,複数の設定や言語で先行手法より優れていることを示す。 本研究では,不可能な事例を検出し,その結果を強く改善する不確実性に対処する手法を提案する。 この研究は、偽情報と戦うために現実世界の進歩を促す将来のツールの基盤となる。
  論文  参考訳（メタデータ） (2023-05-24T09:10:20Z)
• SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
  本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。 我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。 DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-01-25T09:33:11Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。