論文の概要: User Experience Design for Automatic Credibility Assessment of News Content About COVID-19

• arxiv url: http://arxiv.org/abs/2204.13943v1
• Date: Fri, 29 Apr 2022 08:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 00:49:42.247760
• Title: User Experience Design for Automatic Credibility Assessment of News Content About COVID-19
• Title（参考訳）: 新型コロナウイルスに関するニュースコンテンツの自動信頼性評価のためのユーザエクスペリエンス設計
• Authors: Konstantin Schulz, Jens Rauenbusch, Jan Fillies, Lisa Rutenburg, Dimitrios Karvelas, Georg Rehm
• Abstract要約: 信頼性評価を提供するグラフィカルインタフェースのユーザビリティを評価するための実証的研究を2つ提案する。 評価尺度、サブ基準、アルゴリズムのオーサシップは、ユーザビリティの重要な予測因子である。 ニューステキストの著者は、コンテンツ品質を評価するために使用される信頼性アルゴリズムの著者よりも重要である。
• 参考スコア（独自算出の注目度）: 0.33262200259340124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasingly rapid spread of information about COVID-19 on the web calls for automatic measures of quality assurance. In that context, we check the credibility of news content using selected linguistic features. We present two empirical studies to evaluate the usability of graphical interfaces that offer such credibility assessment. In a moderated qualitative interview with six participants, we identify rating scale, sub-criteria and algorithm authorship as important predictors of the usability. A subsequent quantitative online survey with 50 participants reveals a conflict between transparency and conciseness in the interface design, as well as a perceived hierarchy of metadata: the authorship of a news text is more important than the authorship of the credibility algorithm used to assess the content quality. Finally, we make suggestions for future research, such as proactively documenting credibility-related metadata for Natural Language Processing and Language Technology services and establishing an explicit hierarchical taxonomy of usability predictors for automatic credibility assessment.
• Abstract（参考訳）: ウェブ上で新型コロナウイルスに関する情報が急速に広まり、品質保証の自動化が求められている。 そこで我々は,選択した言語的特徴を用いて,ニュースコンテンツの信頼性を確認する。 このような信頼性評価を提供するグラフィカルインタフェースのユーザビリティを評価するための実証的研究を2つ提案する。 6名の参加者との適度な質的インタビューで,ユーザビリティの重要な予測要因として,評価尺度,サブクリテリア,アルゴリズムオーサシップを特定した。 その後の50人の参加者による定量的オンライン調査では、インターフェース設計における透明性と簡潔さの相違、およびメタデータの階層性の認識が明らかになった: ニューステキストの著者は、コンテンツ品質を評価するために使用される信頼性アルゴリズムの著者よりも重要である。 最後に、自然言語処理および言語技術サービスのための信頼性関連メタデータの積極的に文書化や、自動信頼性評価のためのユーザビリティ予測者の明示的な階層分類の確立など、今後の研究への提案を行う。

関連論文リスト

• A Survey on Automatic Credibility Assessment of Textual Credibility Signals in the Era of Large Language Models [6.538395325419292]
  信頼性評価は基本的に、信頼性信号の集約に基づくものである。 信頼性信号はより粒度が高く、説明が容易で、広く活用可能な情報を提供する。 信頼性の自動評価と信頼性信号の検出に関する研究の活発化は、高度に断片化され相互相互接続が欠如しているとして特徴付けられる。
  論文  参考訳（メタデータ） (2024-10-28T17:51:08Z)
• Multi-Facet Counterfactual Learning for Content Quality Evaluation [48.73583736357489]
  コンテンツ品質評価の複数の側面を知覚する評価器を効率的に構築する枠組みを提案する。 我々は,コントラスト学習と教師付き学習に基づく共同学習戦略を活用し,評価者が異なる品質面を区別できるようにする。
  論文  参考訳（メタデータ） (2024-10-10T08:04:10Z)
• ARTICLE: Annotator Reliability Through In-Context Learning [18.818071256242327]
  自己整合性を通じてアノテーションの品質を推定する,コンテキスト内学習フレームワークであるtexttARTICLEを提案する。 この結果から,TexttARTICLEは信頼性の高いアノテータを識別する堅牢な手法として利用でき,データ品質が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-18T17:59:32Z)
• DePrompt: Desensitization and Evaluation of Personal Identifiable Information in Large Language Model Prompts [11.883785681042593]
  DePromptは、プロンプトのための脱感作保護および有効性評価フレームワークである。 我々は、コンテキスト属性を統合し、プライバシタイプを定義し、高精度なPIIエンティティ識別を実現する。 私たちのフレームワークはプロンプトに適応可能で、テキストのユーザビリティに依存したシナリオに拡張できます。
  論文  参考訳（メタデータ） (2024-08-16T02:38:25Z)
• Holistic Evaluation for Interleaved Text-and-Image Generation [19.041251355695973]
  我々はインターリーブドベンチ(InterleavedBench)について紹介する。 また、GPT-4oをベースとした強力な基準フリーメトリックであるInterleavedEvalを提案し、正確で説明可能な評価を行う。
  論文  参考訳（メタデータ） (2024-06-20T18:07:19Z)
• Exploring the Use of Large Language Models for Reference-Free Text Quality Evaluation: An Empirical Study [63.27346930921658]
  ChatGPTは、参照なしで様々な視点からテキスト品質を効果的に評価することができる。 ChatGPTを用いてテキスト品質を測定するExplicit Scoreは、3つの手法の中で最も効果的で信頼性の高い方法である。
  論文  参考訳（メタデータ） (2023-04-03T05:29:58Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• Investigating Crowdsourcing Protocols for Evaluating the Factual Consistency of Summaries [59.27273928454995]
  要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。 評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。 ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
  論文  参考訳（メタデータ） (2021-09-19T19:05:00Z)
• Hierarchical Bi-Directional Self-Attention Networks for Paper Review Rating Recommendation [81.55533657694016]
  本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。 具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。 我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
  論文  参考訳（メタデータ） (2020-11-02T08:07:50Z)
• GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
  本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。 10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。 また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
  論文  参考訳（メタデータ） (2020-10-24T08:30:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。