論文の概要: Towards Reliable Misinformation Mitigation: Generalization, Uncertainty,
and GPT-4
- arxiv url: http://arxiv.org/abs/2305.14928v3
- Date: Tue, 31 Oct 2023 07:19:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-02 02:28:01.732254
- Title: Towards Reliable Misinformation Mitigation: Generalization, Uncertainty,
and GPT-4
- Title(参考訳): 信頼できる誤情報緩和に向けて:一般化・不確かさ・GPT-4
- Authors: Kellin Pelrine, Anne Imouza, Camille Thibault, Meilina Reksoprodjo,
Caleb Gupta, Joel Christoph, Jean-Fran\c{c}ois Godbout, Reihaneh Rabbany
- Abstract要約: GPT-4は,複数の設定や言語で先行手法より優れていることを示す。
本研究では,不可能な事例を検出し,その結果を強く改善する不確実性に対処する手法を提案する。
この研究は、偽情報と戦うために現実世界の進歩を促す将来のツールの基盤となる。
- 参考スコア(独自算出の注目度): 5.313670352036673
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Misinformation poses a critical societal challenge, and current approaches
have yet to produce an effective solution. We propose focusing on
generalization, uncertainty, and how to leverage recent large language models,
in order to create more practical tools to evaluate information veracity in
contexts where perfect classification is impossible. We first demonstrate that
GPT-4 can outperform prior methods in multiple settings and languages. Next, we
explore generalization, revealing that GPT-4 and RoBERTa-large exhibit
differences in failure modes. Third, we propose techniques to handle
uncertainty that can detect impossible examples and strongly improve outcomes.
We also discuss results on other language models, temperature, prompting,
versioning, explainability, and web retrieval, each one providing practical
insights and directions for future research. Finally, we publish the LIAR-New
dataset with novel paired English and French misinformation data and
Possibility labels that indicate if there is sufficient context for veracity
evaluation. Overall, this research lays the groundwork for future tools that
can drive real-world progress to combat misinformation.
- Abstract(参考訳): 誤報は社会的な課題であり、現在のアプローチは効果的な解決策を生み出していない。
完全分類が不可能な文脈における情報の妥当性を評価するための,より実用的なツールを開発するために,一般化,不確実性,最近の大規模言語モデルの活用方法に焦点をあてる。
まず,複数の設定や言語において,GPT-4が先行手法より優れていることを示す。
次に, GPT-4 と RoBERTa-large が故障モードの違いを示すことを明らかにする。
第3に,不可能を検知し,結果を強く改善できる不確実性に対処する手法を提案する。
また、他の言語モデル、温度、プロンプト、バージョニング、説明可能性、web検索の結果についても議論し、それぞれが将来の研究のための実用的な洞察と方向性を提供する。
最後に、LIAR-Newデータセットを、新しい英語とフランス語の誤報データとPossibilityラベルで公開し、妥当性評価に十分なコンテキストが存在することを示す。
全体として、この研究は、偽情報と戦うために現実世界の進歩を促進する将来のツールの基盤となる。
関連論文リスト
- Decoding News Narratives: A Critical Analysis of Large Language Models
in Framing Bias Detection [11.578398987157925]
GPT-3.5 Turbo、GPT-4、Flan-T5モデルは、ゼロショット、少数ショット、説明可能なプロンプト手法によってニュース見出しのフレーミングバイアスを検出する。
特にGPT-4は、関連するドメイン内の様々な例を示す場合、いくつかのシナリオでパフォーマンスが向上することを示した。
FLAN-T5の貧弱な性能は、より小さなモデルではフレーミングバイアスを識別するために追加のタスク固有の微調整が必要になることを示している。
論文 参考訳(メタデータ) (2024-02-18T15:27:48Z) - Comparing GPT-4 and Open-Source Language Models in Misinformation
Mitigation [6.929834518749884]
GPT-4は、この領域では強いことが知られているが、クローズドソースであり、潜在的に高価であり、異なるバージョン間で不安定を示すことができる。
我々は、Zephyr-7bが、一般的なアプローチの重要な制限を克服し、一貫した代替手段を提供することを示す。
そして、GPT-3.5が不安定な性能を示し、この非常に広く使われているモデルが誤情報検出の誤った結果をもたらす可能性があることを強調した。
論文 参考訳(メタデータ) (2024-01-12T22:27:25Z) - Uncertainty Resolution in Misinformation Detection [5.912792105701257]
本稿では、行方不明情報を分類し、LIAR-Newデータセットのカテゴリラベルを公開するためのフレームワークを提案する。
次に、このフレームワークを利用して、欠落したコンテキストに対して効果的なユーザクエリを生成します。
論文 参考訳(メタデータ) (2024-01-02T13:01:50Z) - Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。
我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。
我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
論文 参考訳(メタデータ) (2023-03-22T16:51:28Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-10-17T14:52:39Z) - Annotation Error Detection: Analyzing the Past and Present for a More
Coherent Future [63.99570204416711]
我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。
アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。
私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
論文 参考訳(メタデータ) (2022-06-05T22:31:45Z) - Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。
得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
論文 参考訳(メタデータ) (2021-08-07T19:01:40Z) - InfoBERT: Improving Robustness of Language Models from An Information
Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。
近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。
本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文 参考訳(メタデータ) (2020-10-05T20:49:26Z) - Detecting Cross-Modal Inconsistency to Defend Against Neural Fake News [57.9843300852526]
我々は、画像やキャプションを含む機械生成ニュースに対して、より現実的で挑戦的な対策を導入する。
敵が悪用できる可能性のある弱点を特定するために、4つの異なる種類の生成された記事からなるNeuralNewsデータセットを作成します。
ユーザ実験から得られた貴重な知見に加えて,視覚的意味的不整合の検出にもとづく比較的効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2020-09-16T14:13:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。