論文の概要: Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines
- arxiv url: http://arxiv.org/abs/2405.03153v1
- Date: Mon, 6 May 2024 04:06:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 14:54:58.363124
- Title: Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines
- Title（参考訳）: 誤解を招くニュース見出しの同定における大規模言語モデル(LLM)の可能性を探る
- Authors: Md Main Uddin Rony, Md Mahfuzul Haque, Mohammad Ali, Ahmed Shatil Alam, Naeemul Hassan,
- Abstract要約: 本研究では、誤解を招くニュースの見出しと誤解を招くニュースの見出しを識別する上で、LLM(Large Language Models)の有効性について検討する。
解析の結果,ChatGPT-4の精度は良好であった。
- 参考スコア（独自算出の注目度）: 2.0330684186105805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the digital age, the prevalence of misleading news headlines poses a significant challenge to information integrity, necessitating robust detection mechanisms. This study explores the efficacy of Large Language Models (LLMs) in identifying misleading versus non-misleading news headlines. Utilizing a dataset of 60 articles, sourced from both reputable and questionable outlets across health, science & tech, and business domains, we employ three LLMs- ChatGPT-3.5, ChatGPT-4, and Gemini-for classification. Our analysis reveals significant variance in model performance, with ChatGPT-4 demonstrating superior accuracy, especially in cases with unanimous annotator agreement on misleading headlines. The study emphasizes the importance of human-centered evaluation in developing LLMs that can navigate the complexities of misinformation detection, aligning technical proficiency with nuanced human judgment. Our findings contribute to the discourse on AI ethics, emphasizing the need for models that are not only technically advanced but also ethically aligned and sensitive to the subtleties of human interpretation.
- Abstract（参考訳）: デジタル時代において、誤解を招くニュースの見出しの流行は、情報完全性、堅牢な検出メカニズムを必要とする重要な課題を提起している。
本研究では、誤解を招くニュースの見出しと誤解を招くニュースの見出しを識別する上で、LLM(Large Language Models)の有効性について検討する。
健康、科学、技術、ビジネスドメインにわたる、信頼できる、疑わしいアウトレットから得られた60項目のデータセットを利用して、3つのLCM(ChatGPT-3.5、ChatGPT-4、Gemini-for)を採用。
分析の結果,ChatGPT-4は優れた精度を示し,特に誤解を招く見出しに対するアノテータ合意が一致している場合において,モデル性能に有意な差異が認められた。
この研究は、誤情報検出の複雑さをナビゲートできるLCMの開発において、人間中心の評価の重要性を強調し、技術的習熟度とニュアンスな人間の判断を一致させる。
我々の発見は、技術的に進歩しただけでなく、倫理的に整合し、人間の解釈の微妙さに敏感なモデルの必要性を強調し、AI倫理に関する議論に寄与する。
関連論文リスト
- A Survey on Automatic Credibility Assessment of Textual Credibility Signals in the Era of Large Language Models [6.538395325419292]
信頼性評価は基本的に、信頼性信号の集約に基づくものである。
信頼性信号はより粒度が高く、説明が容易で、広く活用可能な情報を提供する。
信頼性の自動評価と信頼性信号の検出に関する研究の活発化は、高度に断片化され相互相互接続が欠如しているとして特徴付けられる。
論文 参考訳（メタデータ） (2024-10-28T17:51:08Z) - Belief in the Machine: Investigating Epistemological Blind Spots of Language Models [51.63547465454027]
言語モデル(LM)は、医療、法律、ジャーナリズムといった分野において、信頼できる意思決定に不可欠である。
本研究は,新しいデータセットであるKaBLEを用いて,GPT-4,Claude-3,Llama-3を含む現代のLMの能力を体系的に評価する。
まず、LMは事実シナリオで86%の精度を達成するが、その性能は偽シナリオで著しく低下する。
第二に、特にこれらの信念が事実データと矛盾する場合、LMは個人的信念を認識し、肯定するのに苦労する。
論文 参考訳（メタデータ） (2024-10-28T16:38:20Z) - Learning to Generate and Evaluate Fact-checking Explanations with Transformers [10.970249299147866]
XAI(Explainable Artificial Antelligence)の研究
我々は,人間のアクセス可能な説明を生成することによって,意思決定を文脈化し,正当化するトランスフォーマーベースの事実チェックモデルを開発した。
我々は人工知能(AI)による説明と人間の判断を一致させる必要性を強調した。
論文 参考訳（メタデータ） (2024-10-21T06:22:51Z) - Investigating Annotator Bias in Large Language Models for Hate Speech Detection [5.589665886212444]
本稿では,ヘイトスピーチデータに注釈をつける際に,Large Language Models (LLMs) に存在するバイアスについて考察する。
具体的には、これらのカテゴリ内の非常に脆弱なグループを対象として、アノテータバイアスを分析します。
我々は,この研究を行うために,独自のヘイトスピーチ検出データセットであるHateBiasNetを紹介した。
論文 参考訳（メタデータ） (2024-06-17T00:18:31Z) - CAUS: A Dataset for Question Generation based on Human Cognition Leveraging Large Language Models [4.962252439662465]
本稿では,Curious About Uncertain Sceneデータセットを導入し,大規模言語モデルを用いて人間の認知過程をエミュレートし,不確実性を解決する。
我々のアプローチは、推論とクエリの生成を刺激するために、不確実性に埋め込まれたシーン記述を提供することである。
以上の結果から, GPT-4は, 適切な文脈や指示が与えられた場合に, 適切な質問を効果的に生成し, そのニュアンスを把握できることが示唆された。
論文 参考訳（メタデータ） (2024-04-18T01:31:19Z) - SOUL: Towards Sentiment and Opinion Understanding of Language [96.74878032417054]
我々は、言語感覚とオピニオン理解(SOUL)と呼ばれる新しいタスクを提案する。
SOULは2つのサブタスクを通して感情理解を評価することを目的としている:レビュー(RC)と正当化生成(JG)。
論文 参考訳（メタデータ） (2023-10-27T06:48:48Z) - Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳（メタデータ） (2023-09-02T00:32:55Z) - Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias [57.42417061979399]
近年の研究では、インストラクションチューニング(IT)と人間フィードバック(RLHF)による強化学習によって、大規模言語モデル(LM)の能力が劇的に向上していることが示されている。
本研究では,ITとRLHFがLMの意思決定と推論に与える影響について検討する。
以上の結果から,GPT-3,Mistral,T5ファミリーの各種モデルにおけるこれらのバイアスの存在が示唆された。
論文 参考訳（メタデータ） (2023-08-01T01:39:25Z) - A Critical Review of Large Language Models: Sensitivity, Bias, and the
Path Toward Specialized AI [0.0]
本稿では,テキストデータ中のSDGの検出における,特殊なコンパイル言語モデルとOpenAIのGPT-3.5のような汎用モデルの比較の有効性について検討する。
この研究は、LLMの能力とドメイン固有の専門知識と解釈可能性の必要性のバランスを見つけるために、さらなる研究を奨励することで締めくくっている。
論文 参考訳（メタデータ） (2023-07-28T09:20:22Z) - Prompting GPT-3 To Be Reliable [117.23966502293796]
この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。
GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-17T14:52:39Z) - Artificial Text Detection via Examining the Topology of Attention Maps [58.46367297712477]
トポロジカルデータ分析(TDA)に基づく3種類の解釈可能なトポロジカル特徴を提案する。
BERTモデルから派生した特徴が3つの共通データセットにおいて、カウントベースとニューラルベースベースラインを最大10%上回っていることを実証的に示す。
特徴の探索解析は表面に対する感度と構文的性質を明らかにしている。
論文 参考訳（メタデータ） (2021-09-10T12:13:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。