論文の概要: Towards Reliable Misinformation Mitigation: Generalization, Uncertainty, and GPT-4

• arxiv url: http://arxiv.org/abs/2305.14928v1
• Date: Wed, 24 May 2023 09:10:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 17:43:21.327515
• Title: Towards Reliable Misinformation Mitigation: Generalization, Uncertainty, and GPT-4
• Title（参考訳）: 信頼できる誤情報緩和に向けて:一般化・不確かさ・GPT-4
• Authors: Kellin Pelrine, Meilina Reksoprodjo, Caleb Gupta, Joel Christoph, Reihaneh Rabbany
• Abstract要約: GPT-4や他の言語モデルは,文献における既存の手法よりも優れていることを示す。 また, GPT-4 と RoBERTa-large は, 故障モードに重大な差異を示し, 大幅な性能改善の可能性が示唆された。
• 参考スコア（独自算出の注目度）: 2.4849079793447197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Misinformation poses a critical societal challenge, and current approaches have yet to produce an effective solution. We propose focusing on generalization, soft classification, and leveraging recent large language models to create more practical tools in contexts where perfect predictions remain unattainable. We begin by demonstrating that GPT-4 and other language models can outperform existing methods in the literature. Next, we explore their generalization, revealing that GPT-4 and RoBERTa-large exhibit critical differences in failure modes, which offer potential for significant performance improvements. Finally, we show that these models can be employed in soft classification frameworks to better quantify uncertainty. We find that models with inferior hard classification results can achieve superior soft classification performance. Overall, this research lays groundwork for future tools that can drive real-world progress on misinformation.
• Abstract（参考訳）: 誤報は社会的な課題であり、現在のアプローチは効果的な解決策を生み出していない。 完全予測が達成不可能な状況下で, 一般化, ソフトな分類, および最近の大規模言語モデルを活用して, より実用的なツールを作成することを提案する。 まず、GPT-4や他の言語モデルが文献における既存の手法より優れていることを示す。 次に、GPT-4とRoBERTa-largeが障害モードに重大な違いを示し、大幅な性能改善の可能性を秘めていることを示す。 最後に, 不確かさを定量化するために, これらのモデルがソフト分類フレームワークに採用可能であることを示す。 ハード分類結果が劣るモデルは, ソフト分類性能に優れることがわかった。 全体として、この研究は、誤情報に関する現実世界の進歩を促進する将来のツールの基盤となる。

関連論文リスト

• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing [19.2764682793582]
  本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。 汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:22:07Z)
• Decoding News Narratives: A Critical Analysis of Large Language Models in Framing Detection [10.301985230669684]
  本稿では,ニュース見出しにおけるフレーミングの検出において,GPT-4,GPT-3.5 Turbo,FLAN-T5モデルを包括的に分析する。 我々はこれらのモデルを,ゼロショット,ドメイン内例による少数ショット,クロスドメイン例,モデルが予測を説明する設定など,さまざまなシナリオで評価した。
  論文  参考訳（メタデータ） (2024-02-18T15:27:48Z)
• Comparing GPT-4 and Open-Source Language Models in Misinformation Mitigation [6.929834518749884]
  GPT-4は、この領域では強いことが知られているが、クローズドソースであり、潜在的に高価であり、異なるバージョン間で不安定を示すことができる。 我々は、Zephyr-7bが、一般的なアプローチの重要な制限を克服し、一貫した代替手段を提供することを示す。 そして、GPT-3.5が不安定な性能を示し、この非常に広く使われているモデルが誤情報検出の誤った結果をもたらす可能性があることを強調した。
  論文  参考訳（メタデータ） (2024-01-12T22:27:25Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Sparks of Artificial General Intelligence: Early experiments with GPT-4 [66.1188263570629]
  OpenAIが開発したGPT-4は、前例のない規模の計算とデータを使って訓練された。 我々は, GPT-4が数学, コーディング, ビジョン, 医学, 法学, 心理学などにまたがる, 新規で困難な課題を解くことを実証した。 我々は、GPT-4を人工知能(AGI)システムの早期(まだ未完成)版と見なすことができると信じている。
  論文  参考訳（メタデータ） (2023-03-22T16:51:28Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。