論文の概要: Exploring Multidimensional Checkworthiness: Designing AI-assisted Claim Prioritization for Human Fact-checkers

• arxiv url: http://arxiv.org/abs/2412.08185v1
• Date: Wed, 11 Dec 2024 08:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 23:20:26.607199
• Title: Exploring Multidimensional Checkworthiness: Designing AI-assisted Claim Prioritization for Human Fact-checkers
• Title（参考訳）: 多次元チェックネスの探索:人間のファクトチェックのためのAI支援クレーム優先順位付けの設計
• Authors: Houjiang Liu, Jacek Gwizdka, Matthew Lease,
• Abstract要約: 本稿では,AIによるクレーム優先順位付けのプロトタイプを開発し,クレーム優先順位付けにファクトチェッカーが多次元検査因子をどのように利用するかを検討する。 本研究は,多次元赤外関連性とファクトチェック性の間に概念的寄与をもたらす。
• 参考スコア（独自算出の注目度）: 5.22980614912553
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Given the massive volume of potentially false claims circulating online, claim prioritization is essential in allocating limited human resources available for fact-checking. In this study, we perceive claim prioritization as an information retrieval (IR) task: just as multidimensional IR relevance, with many factors influencing which search results a user deems relevant, checkworthiness is also multi-faceted, subjective, and even personal, with many factors influencing how fact-checkers triage and select which claims to check. Our study investigates both the multidimensional nature of checkworthiness and effective tool support to assist fact-checkers in claim prioritization. Methodologically, we pursue Research through Design combined with mixed-method evaluation. We develop an AI-assisted claim prioritization prototype as a probe to explore how fact-checkers use multidimensional checkworthiness factors in claim prioritization, simultaneously probing fact-checker needs while also exploring the design space to meet those needs. Our study with 16 professional fact-checkers investigates: 1) how participants assessed the relative importance of different checkworthy dimensions and apply different priorities in claim selection; 2) how they created customized GPT-based search filters and the corresponding benefits and limitations; and 3) their overall user experiences with our prototype. Our work makes a conceptual contribution between multidimensional IR relevance and fact-checking checkworthiness, with findings demonstrating the value of corresponding tooling support. Specifically, we uncovered a hierarchical prioritization strategy fact-checkers implicitly use, revealing an underexplored aspect of their workflow, with actionable design recommendations for improving claim triage across multi-dimensional checkworthiness and tailoring this process with LLM integration.
• Abstract（参考訳）: オンラインで流通する可能性のある偽のクレームの膨大な量を考えると、クレームの優先順位付けは、事実確認のために利用可能な限られた人的資源を割り当てるのに不可欠である。 本研究では,情報検索(IR)タスクとしてのクレーム優先順位付け(クレーム優先順位付け)を,多次元IR関連性(多次元IR関連性)と同様,ユーザがどの検索結果に関連があると判断するかに影響を及ぼす要因が多面的,主観的,個人的にも影響し,ファクトチェックがどのクレームをトリアージし,どのクレームを選択するかに影響を及ぼす要因が多数存在する。 本研究は,クレーム優先化におけるファクトチェックの多次元的特性と効果的なツールサポートについて検討した。 提案手法は, 複合手法評価と組み合わせた設計による研究を追求する。 我々は,AIによるクレーム優先順位付けのプロトタイプを開発し,クレーム優先順位付けにおいてファクトチェッカーが多次元のチェックハーネス因子をどのように用いているかを調査し,同時にファクトチェッカーのニーズを探索するとともに,それらのニーズを満たす設計空間を探索する。 プロのファクトチェッカー16名による調査 1) 参加者は,異なるチェックアワー次元の相対的重要性を評価し,クレーム選択に異なる優先順位を適用した。 2) カスタマイズされたGPTベースの検索フィルタとそれに対応する利点と制限の作り方 3) プロトタイプのユーザエクスペリエンス全体について。 本研究は,多次元赤外線関連性とファクトチェック性の間に概念的寄与を生じさせ,それに対応するツールサポートの価値を実証する。 具体的には、階層的な優先順位付け戦略のファクトチェッカーを暗黙的に使用し、ワークフローの未探索な側面を明らかにし、多次元のチェックハーネスを越えたクレームトリアージの改善とLLM統合によるこのプロセスの調整のための実用的な設計提案を行った。

関連論文リスト

• A Generative-AI-Driven Claim Retrieval System Capable of Detecting and Retrieving Claims from Social Media Platforms in Multiple Languages [1.3331869040581863]
  本研究は, 事実チェック済みのクレームを検索し, 所定のインプットとの関連性を評価し, 事実チェックを支援するための補助情報を提供するアプローチを提案する。 提案手法では,無関係な事実チェックをフィルタリングし,簡潔な要約と説明を生成するために,大規模言語モデル(LLM)を用いる。 以上の結果から,LCMは無関係なファクトチェックの多くをフィルタリングし,労力を削減し,ファクトチェックプロセスを合理化できることが示唆された。
  論文  参考訳（メタデータ） (2025-04-29T11:49:05Z)
• FactFinders at CheckThat! 2024: Refining Check-worthy Statement Detection with LLMs through Data Pruning [43.82613670331329]
  本研究では,オープンソースの言語モデルを用いて,政治的書き起こしからチェックにふさわしい文章を識別する手法について検討する。 本稿では,高品質なトレーニングデータインスタンスを自動的に同定し,効果的な学習を行うための2段階のデータ解析手法を提案する。 私たちのチームは英語のチェック・マインドネス・タスクで1位にランクインした。
  論文  参考訳（メタデータ） (2024-06-26T12:31:31Z)
• Unified Active Retrieval for Retrieval Augmented Generation [69.63003043712696]
  Retrieval-Augmented Generation (RAG)では、検索は必ずしも役に立たない。 既存のアクティブ検索手法は2つの課題に直面している。 彼らは通常、様々な種類の命令を扱うのに苦労する単一の基準に頼っている。 それらは特殊で高度に区別された手順に依存しており、それらを組み合わせることでRAGシステムはより複雑になる。
  論文  参考訳（メタデータ） (2024-06-18T12:09:02Z)
• Applied Machine Learning to Anomaly Detection in Enterprise Purchase Processes [0.0]
  本研究は、実データから2つの大きな購入データセットから検出された事例を優先的に調査する手法を提案する。 目的は、企業の管理努力の有効性に寄与し、その実施実績を高めることである。
  論文  参考訳（メタデータ） (2024-05-23T16:21:51Z)
• Persona-DB: Efficient Large Language Model Personalization for Response Prediction with Collaborative Data Refinement [79.2400720115588]
  本稿では,タスクコンテキスト間の一般化を改善するための階層的な構築プロセスからなる,シンプルで効果的なフレームワークであるPersona-DBを紹介する。 応答予測の評価において,Persona-DB は精度を著しく低減した検索サイズで維持する上で,より優れたコンテキスト効率を示す。 我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで10%以上の顕著な改善が示されていることも示している。
  論文  参考訳（メタデータ） (2024-02-16T20:20:43Z)
• The Shifted and The Overlooked: A Task-oriented Investigation of User-GPT Interactions [114.67699010359637]
  実際のユーザクエリの大規模なコレクションをGPTに解析する。 ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
  論文  参考訳（メタデータ） (2023-10-19T02:12:17Z)
• Human-centered NLP Fact-checking: Co-Designing with Fact-checkers using Matchmaking for AI [46.40919004160953]
  我々は、ファクトチェッカー、デザイナ、NLP研究者との共同設計手法であるMatchmaking for AIを調査し、技術によってファクトチェッカーが対処すべきことを特定する。 22人のプロのファクトチェッカーによる共同設計セッションでは、"北の星"を提供する11のアイデアセットが得られました。 私たちの研究は、人間中心の事実チェック研究と実践とAIの共同設計研究の両方に、新たな洞察を与えています。
  論文  参考訳（メタデータ） (2023-08-14T15:31:32Z)
• Assisting Human Decisions in Document Matching [52.79491990823573]
  我々は,意思決定者のパフォーマンスを向上する支援情報の種類を評価するためのプロキシマッチングタスクを考案した。 ブラックボックスモデルによる説明を提供することで,マッチング作業におけるユーザの精度が低下することが判明した。 一方,タスク固有のデシラタに密接に対応するように設計されたカスタムメソッドは,ユーザのパフォーマンス向上に有効であることが判明した。
  論文  参考訳（メタデータ） (2023-02-16T17:45:20Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• Check-worthy Claim Detection across Topics for Automated Fact-checking [21.723689314962233]
  我々は、新しい、目に見えないトピックのチェック価値のあるクレームを検出するという課題を評価し、定量化する。 AraCWAモデルを提案し,トピック間のチェック値のクレームを検出する際の性能劣化を緩和する。
  論文  参考訳（メタデータ） (2022-12-16T14:54:56Z)
• Autonomation, not Automation: Activities and Needs of Fact-checkers as a Basis for Designing Human-Centered AI Systems [1.7925621668797338]
  我々は中央ヨーロッパのファクトチェッカーに詳しいインタビューを行った。 我々の貢献には、非英語圏における事実確認作業の多様性に関する詳細な調査が含まれる。 学際的なコラボレーションのおかげで、AI研究におけるファクトチェックのプロセスを3つの追加段階に拡張します。
  論文  参考訳（メタデータ） (2022-11-22T10:18:09Z)
• Reward Uncertainty for Exploration in Preference-based Reinforcement Learning [88.34958680436552]
  好みに基づく強化学習アルゴリズムを対象とした探索手法を提案する。 我々の基本的な考え方は、学習した報酬に基づいて、斬新さを測定することによって、本質的な報酬を設計することである。 実験により、学習報酬の不確実性からの探索ボーナスは、好みに基づくRLアルゴリズムのフィードバック効率とサンプル効率の両方を改善することが示された。
  論文  参考訳（メタデータ） (2022-05-24T23:22:10Z)
• Scaling up Search Engine Audits: Practical Insights for Algorithm Auditing [68.8204255655161]
  異なる地域に数百の仮想エージェントを配置した8つの検索エンジンの実験を行った。 複数のデータ収集にまたがる研究インフラの性能を実証する。 仮想エージェントは,アルゴリズムの性能を長時間にわたって監視するための,有望な場所である,と結論付けている。
  論文  参考訳（メタデータ） (2021-06-10T15:49:58Z)
• Wizard of Search Engine: Access to Information Through Conversations with Search Engines [58.53420685514819]
  我々は3つの側面からCISの研究を促進するために努力している。 目的検出(ID)、キーフレーズ抽出(KE)、行動予測(AP)、クエリ選択(QS)、通過選択(PS)、応答生成(RG)の6つのサブタスクでCIS用のパイプラインを定式化する。 検索エンジンのウィザード(WISE)と呼ばれるベンチマークデータセットをリリースし、CISのすべての側面について包括的かつ詳細な調査を可能にします。
  論文  参考訳（メタデータ） (2021-05-18T06:35:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。