論文の概要: A Survey on Automatic Credibility Assessment of Textual Credibility Signals in the Era of Large Language Models

• arxiv url: http://arxiv.org/abs/2410.21360v1
• Date: Mon, 28 Oct 2024 17:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:07.830192
• Title: A Survey on Automatic Credibility Assessment of Textual Credibility Signals in the Era of Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるテキストの可読性信号の自動評価に関する調査
• Authors: Ivan Srba, Olesya Razuvayevskaya, João A. Leite, Robert Moro, Ipek Baris Schlicht, Sara Tonelli, Francisco Moreno García, Santiago Barrio Lottmann, Denis Teyssou, Valentin Porcellini, Carolina Scarton, Kalina Bontcheva, Maria Bielikova,
• Abstract要約: 信頼性評価は基本的に、信頼性信号の集約に基づくものである。 信頼性信号はより粒度が高く、説明が容易で、広く活用可能な情報を提供する。 信頼性の自動評価と信頼性信号の検出に関する研究の活発化は、高度に断片化され相互相互接続が欠如しているとして特徴付けられる。
• 参考スコア（独自算出の注目度）: 6.538395325419292
• License:
• Abstract: In the current era of social media and generative AI, an ability to automatically assess the credibility of online social media content is of tremendous importance. Credibility assessment is fundamentally based on aggregating credibility signals, which refer to small units of information, such as content factuality, bias, or a presence of persuasion techniques, into an overall credibility score. Credibility signals provide a more granular, more easily explainable and widely utilizable information in contrast to currently predominant fake news detection, which utilizes various (mostly latent) features. A growing body of research on automatic credibility assessment and detection of credibility signals can be characterized as highly fragmented and lacking mutual interconnections. This issue is even more prominent due to a lack of an up-to-date overview of research works on automatic credibility assessment. In this survey, we provide such systematic and comprehensive literature review of 175 research papers while focusing on textual credibility signals and Natural Language Processing (NLP), which undergoes a significant advancement due to Large Language Models (LLMs). While positioning the NLP research into the context of other multidisciplinary research works, we tackle with approaches for credibility assessment as well as with 9 categories of credibility signals (we provide a thorough analysis for 3 of them, namely: 1) factuality, subjectivity and bias, 2) persuasion techniques and logical fallacies, and 3) claims and veracity). Following the description of the existing methods, datasets and tools, we identify future challenges and opportunities, while paying a specific attention to recent rapid development of generative AI.
• Abstract（参考訳）: ソーシャルメディアと生成AIの時代において、オンラインソーシャルメディアコンテンツの信頼性を自動的に評価する能力は非常に重要である。 信頼性評価は基本的に、コンテンツの事実性、偏見、説得技術の存在などの情報の小さな単位を総合的な信頼性スコアに集約する信頼性信号に基づいて行われる。 信頼性信号は、様々な(主に潜伏している)特徴を利用する現在主流のフェイクニュース検出とは対照的に、より粒度が高く、説明しやすく、広く活用可能な情報を提供する。 信頼性の自動評価と信頼性信号の検出に関する研究の活発化は、高度に断片化され相互相互接続が欠如しているとして特徴付けられる。 この問題は、信頼性の自動評価に関する最新の研究の概観が欠如していることから、さらに顕著である。 本研究では,175件の研究論文の体系的・包括的文献レビューを行い,テキストの信頼性に関する信号と自然言語処理(NLP)に着目し,Large Language Models (LLMs) による大幅な進歩を図っている。 NLP研究を他の多分野の研究の文脈に位置づけながら、信頼度評価のアプローチと9つの信頼性信号のカテゴリ(これらのうち3つを網羅的に分析する)に取り組む。 1)事実性、主観性、偏見 2 説得技術及び論理的誤信 3)クレームと正確性) 既存の手法、データセット、ツールの説明に続いて、私たちは、最近の生成AIの急速な発展に特に注意を払って、将来の課題と機会を特定します。

関連論文リスト

• RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
  本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。 25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。 我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
  論文  参考訳（メタデータ） (2024-06-13T06:42:32Z)
• Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines [2.0330684186105805]
  本研究では、誤解を招くニュースの見出しと誤解を招くニュースの見出しを識別する上で、LLM(Large Language Models)の有効性について検討する。 解析の結果,ChatGPT-4の精度は良好であった。
  論文  参考訳（メタデータ） (2024-05-06T04:06:45Z)
• Maintaining Journalistic Integrity in the Digital Age: A Comprehensive NLP Framework for Evaluating Online News Content [0.0]
  本稿では,自然言語処理(NLP)技術を用いて,オンラインニューステキストの分析を行う包括的フレームワークを提案する。 このフレームワークには10のジャーナリズム標準、バランスと公正性、読みやすさと明快さ、センセーショナルとクリックベイト、倫理的考察、公共の関心と価値、情報源の信頼性、妥当性とタイムライン、事実の正確性、帰属と透明性が含まれる。
  論文  参考訳（メタデータ） (2024-01-07T12:27:14Z)
• A Study of Situational Reasoning for Traffic Understanding [63.45021731775964]
  トラフィック領域における状況推論のための3つの新しいテキストベースのタスクを考案する。 先行作業における言語推論タスクにまたがる一般化能力を示す知識強化手法を4つ採用する。 本稿では,データ分割におけるモデル性能の詳細な解析を行い,モデル予測を分類的に検討する。
  論文  参考訳（メタデータ） (2023-06-05T01:01:12Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)
• Investigating Fairness Disparities in Peer Review: A Language Model Enhanced Approach [77.61131357420201]
  我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。 我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。 我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
  論文  参考訳（メタデータ） (2022-11-07T16:19:42Z)
• FRSUM: Towards Faithful Abstractive Summarization via Enhancing Factual Robustness [56.263482420177915]
  我々は,既存のシステムの忠実さを,事実的堅牢性という新たな視点から研究する。 本研究では,新たなトレーニング戦略,すなわちFRSUMを提案し,そのモデルに対して,暗黙の対角的サンプルと暗黙の対向的摂動の両方を防御するように指導する。
  論文  参考訳（メタデータ） (2022-11-01T06:09:00Z)
• Exploring the Trade-off between Plausibility, Change Intensity and Adversarial Power in Counterfactual Explanations using Multi-objective Optimization [73.89239820192894]
  自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。 本稿では, 対実例生成のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-20T15:02:53Z)
• User Experience Design for Automatic Credibility Assessment of News Content About COVID-19 [0.33262200259340124]
  信頼性評価を提供するグラフィカルインタフェースのユーザビリティを評価するための実証的研究を2つ提案する。 評価尺度、サブ基準、アルゴリズムのオーサシップは、ユーザビリティの重要な予測因子である。 ニューステキストの著者は、コンテンツ品質を評価するために使用される信頼性アルゴリズムの著者よりも重要である。
  論文  参考訳（メタデータ） (2022-04-29T08:38:45Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)
• Information Credibility in the Social Web: Contexts, Approaches, and Open Issues [2.2133187119466116]
  信頼性(英語: Cliability)とは、個人によって認識される品質であり、必ずしも自分の認知能力と偽の情報とを区別できるわけではない。 ソーシャルメディアにおける信頼性を自動的に評価するためのいくつかのアプローチが提案されている。
  論文  参考訳（メタデータ） (2020-01-26T15:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。