論文の概要: Uncertainty Resolution in Misinformation Detection
- arxiv url: http://arxiv.org/abs/2401.01197v1
- Date: Tue, 2 Jan 2024 13:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 14:02:17.303378
- Title: Uncertainty Resolution in Misinformation Detection
- Title(参考訳): 誤情報検出における不確かさ
- Authors: Yury Orlovskiy, Camille Thibault, Anne Imouza, Jean-Fran\c{c}ois
Godbout, Reihaneh Rabbany, Kellin Pelrine
- Abstract要約: 本稿では、行方不明情報を分類し、LIAR-Newデータセットのカテゴリラベルを公開するためのフレームワークを提案する。
次に、このフレームワークを利用して、欠落したコンテキストに対して効果的なユーザクエリを生成します。
- 参考スコア(独自算出の注目度): 5.912792105701257
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Misinformation poses a variety of risks, such as undermining public trust and
distorting factual discourse. Large Language Models (LLMs) like GPT-4 have been
shown effective in mitigating misinformation, particularly in handling
statements where enough context is provided. However, they struggle to assess
ambiguous or context-deficient statements accurately. This work introduces a
new method to resolve uncertainty in such statements. We propose a framework to
categorize missing information and publish category labels for the LIAR-New
dataset, which is adaptable to cross-domain content with missing information.
We then leverage this framework to generate effective user queries for missing
context. Compared to baselines, our method improves the rate at which generated
questions are answerable by the user by 38 percentage points and classification
performance by over 10 percentage points macro F1. Thus, this approach may
provide a valuable component for future misinformation mitigation pipelines.
- Abstract(参考訳): 誤報は、公的な信頼を損なうこと、事実を歪めることなど、様々なリスクを引き起こす。
GPT-4のような大規模言語モデル(LLM)は、誤情報を軽減し、特に十分なコンテキストを提供する文を扱うのに有効である。
しかし、曖昧さや文脈に欠ける文を正確に評価することは困難である。
本研究は,このような文の不確実性を解決する新しい手法を提案する。
本稿では、欠落情報を分類し、欠落情報を持つクロスドメインコンテンツに適用可能なLIAR-Newデータセットのカテゴリラベルを公開するフレームワークを提案する。
次に、このフレームワークを利用して、欠落したコンテキストに対して効果的なユーザクエリを生成します。
ベースラインと比較すると,生成した質問に対する回答率を38パーセンテージ,分類性能を10パーセンテージマクロf1以上向上させる。
したがって、このアプローチは、将来の誤情報軽減パイプラインに価値のあるコンポーネントを提供するかもしれない。
関連論文リスト
- Balancing Fairness and Accuracy in Data-Restricted Binary Classification [14.439413517433891]
本稿では,4つの実践シナリオ下での精度と公平性のトレードオフをモデル化する枠組みを提案する。
3つのデータセットの実験では、トレードオフを定量化するためのツールとして提案されたフレームワークの有用性が示されている。
論文 参考訳(メタデータ) (2024-03-12T15:01:27Z) - Flashback: Understanding and Mitigating Forgetting in Federated Learning [7.248285042377168]
フェデレートラーニング(FL)では、忘れたり、ラウンド全体で知識が失われたりすると、ハマーズアルゴリズムが収束する。
我々は,新たな知識獲得の過程で,忘れをきめ細かく測定し,認識を確実にする指標を導入する。
本稿では,局所的なモデルを正規化し,その知識を効果的に集約する動的蒸留手法を用いたFLアルゴリズムであるFlashbackを提案する。
論文 参考訳(メタデータ) (2024-02-08T10:52:37Z) - See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
この課題を解決するために,LMMのカスケードと共同学習手法を提案する。
得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
論文 参考訳(メタデータ) (2023-12-13T18:58:04Z) - Unmasking and Improving Data Credibility: A Study with Datasets for Training Harmless Language Models [25.893228797735908]
本研究は,Jigsaw Civil Comments, Anthropic Harmless & Red Team, PKU BeaverTails & SafeRLHFなど,現実世界のデータセットの信頼性に重点を置いている。
ヒトによるこれらのデータセットのクリーニングのコストと困難さを考慮して、データセットの信頼性を評価するための体系的な枠組みを導入する。
上記のベンチマークから構築した11のデータセットで、平均6.16%のラベルエラーを発見し、修正する。
論文 参考訳(メタデータ) (2023-11-19T02:34:12Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳(メタデータ) (2023-10-09T11:44:50Z) - Investigating the Limitation of CLIP Models: The Worst-Performing
Categories [53.360239882501325]
コントラスト言語-画像事前学習(CLIP)は、自然言語を視覚概念に統合する基礎モデルを提供する。
通常、十分に設計されたテキストプロンプトによって、多くの領域で満足な全体的な精度が達成できると期待されている。
しかし、最悪のカテゴリにおけるパフォーマンスは、全体的なパフォーマンスよりも著しく劣っていることがわかった。
論文 参考訳(メタデータ) (2023-10-05T05:37:33Z) - Correcting Underrepresentation and Intersectional Bias for Fair
Classification [55.2480439325792]
偏見バイアスによって劣化したデータから学習する問題について考察し, 正の例を, 一定の数のセンシティブなグループに対して, 異なる未知のレートでフィルタする。
交叉群のメンバーシップが各交叉率を計算不能にするような設定であっても,少数の偏りのないデータを用いてグループワイド・ドロップアウトパラメータを効率的に推定できることが示される。
我々は,この学習と再重み付け過程をカプセル化するアルゴリズムを提案し,高い確率で真の分布に対する仮説のリスクが任意に近いことをPACスタイルの強い保証を提供する。
論文 参考訳(メタデータ) (2023-06-19T18:25:44Z) - Towards Reliable Misinformation Mitigation: Generalization, Uncertainty,
and GPT-4 [5.313670352036673]
GPT-4は,複数の設定や言語で先行手法より優れていることを示す。
本研究では,不可能な事例を検出し,その結果を強く改善する不確実性に対処する手法を提案する。
この研究は、偽情報と戦うために現実世界の進歩を促す将来のツールの基盤となる。
論文 参考訳(メタデータ) (2023-05-24T09:10:20Z) - SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳(メタデータ) (2023-01-25T09:33:11Z) - Uncertainty-based Network for Few-shot Image Classification [17.912365063048263]
相互情報の助けを借りて分類結果の不確実性をモデル化する不確実性ベースネットワークを提案する。
不確実性に基づくネットワークは,最先端手法と比較して,分類精度に匹敵する性能を示した。
論文 参考訳(メタデータ) (2022-05-17T07:49:32Z) - Distant finetuning with discourse relations for stance classification [55.131676584455306]
そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。
また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。
NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
論文 参考訳(メタデータ) (2022-04-27T04:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。