論文の概要: The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection

• arxiv url: http://arxiv.org/abs/2308.12215v1
• Date: Wed, 23 Aug 2023 15:52:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 13:36:21.480701
• Title: The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection
• Title（参考訳）: 信頼と安全のための機械学習の課題 : 誤情報検出を事例として
• Authors: Madelyne Xiao, Jonathan Mayer
• Abstract要約: 信頼性と安全性の問題に機械学習を適用する際、奨学金と実践の切り離しについて検討する。 フィールドに270の有能な論文からなるコーパスを用いた誤情報の自動検出に関する文献の体系化を行った。 性能と実用性に疑問を呈する文献には、重大な欠点がある。
• 参考スコア（独自算出の注目度）: 0.951828574518325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the disconnect between scholarship and practice in applying machine learning to trust and safety problems, using misinformation detection as a case study. We systematize literature on automated detection of misinformation across a corpus of 270 well-cited papers in the field. We then examine subsets of papers for data and code availability, design missteps, reproducibility, and generalizability. We find significant shortcomings in the literature that call into question claimed performance and practicality. Detection tasks are often meaningfully distinct from the challenges that online services actually face. Datasets and model evaluation are often non-representative of real-world contexts, and evaluation frequently is not independent of model training. Data and code availability is poor. Models do not generalize well to out-of-domain data. Based on these results, we offer recommendations for evaluating machine learning applications to trust and safety problems. Our aim is for future work to avoid the pitfalls that we identify.
• Abstract（参考訳）: 信頼と安全問題に機械学習を適用する際の奨学金と実践の分離を,誤情報検出を事例として検討する。 フィールドに270の有能な論文からなるコーパスを用いた誤情報の自動検出に関する文献を体系化する。 次に、データおよびコードの可用性、設計ミスステップ、再現性、一般化性のための論文のサブセットを調べます。 パフォーマンスと実用性に疑問を呈する文献には,重大な欠点が指摘されている。 検出タスクは、オンラインサービスが実際に直面する課題とは大きく異なることが多い。 データセットとモデル評価は、しばしば実世界のコンテキストに非代表的であり、評価はしばしばモデルトレーニングとは独立ではない。 データとコードの可用性は乏しい。 モデルはドメイン外データにうまく一般化しません。 これらの結果に基づいて、信頼性と安全性の問題に対する機械学習アプリケーションの評価を推奨する。 私たちの目標は、私たちが特定する落とし穴を避けるための将来の作業です。

関連論文リスト

• Online Model-based Anomaly Detection in Multivariate Time Series: Taxonomy, Survey, Research Challenges and Future Directions [0.017476232824732776]
  時系列異常検出は、エンジニアリングプロセスにおいて重要な役割を果たす。 この調査では、オンラインとオフラインの区別とトレーニングと推論を行う新しい分類法を紹介した。 文献で使用される最も一般的なデータセットと評価指標、および詳細な分析を示す。
  論文  参考訳（メタデータ） (2024-08-07T13:01:10Z)
• Verification of Machine Unlearning is Fragile [48.71651033308842]
  両タイプの検証戦略を回避できる2つの新しい非学習プロセスを導入する。 この研究は、機械学習検証の脆弱性と限界を強調し、機械学習の安全性に関するさらなる研究の道を開く。
  論文  参考訳（メタデータ） (2024-08-01T21:37:10Z)
• Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
  AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。 近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。 我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
  論文  参考訳（メタデータ） (2024-06-13T08:37:01Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Gone but Not Forgotten: Improved Benchmarks for Machine Unlearning [0.0]
  本稿では,機械学習アルゴリズムの代替評価手法について記述し,提案する。 我々は、さまざまなコンピュータビジョンデータセット上で、最先端の未学習アルゴリズムの一連の実験を通して、代替評価の有用性を示す。
  論文  参考訳（メタデータ） (2024-05-29T15:53:23Z)
• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
  データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。 この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。 実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
  論文  参考訳（メタデータ） (2022-02-21T14:43:38Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Individual Explanations in Machine Learning Models: A Survey for Practitioners [69.02688684221265]
  社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。 多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。 近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
  論文  参考訳（メタデータ） (2021-04-09T01:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。