論文の概要: The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection

• arxiv url: http://arxiv.org/abs/2308.12215v2
• Date: Fri, 23 Feb 2024 16:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 18:06:00.919863
• Title: The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection
• Title（参考訳）: 信頼と安全のための機械学習の課題 : 誤情報検出を事例として
• Authors: Madelyne Xiao, Jonathan Mayer
• Abstract要約: 信頼性と安全性の問題に機械学習を適用する際、奨学金と実践の切り離しについて検討する。 フィールドに270の有能な論文からなるコーパスを用いた誤情報の自動検出に関する文献の体系化を行った。
• 参考スコア（独自算出の注目度）: 0.951828574518325
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We examine the disconnect between scholarship and practice in applying machine learning to trust and safety problems, using misinformation detection as a case study. We systematize literature on automated detection of misinformation across a corpus of 270 well-cited papers in the field. We then examine subsets of papers for data and code availability, design missteps, reproducibility, and generalizability. Our paper corpus includes published work in security, natural language processing, and computational social science. Across these disparate disciplines, we identify common errors in dataset and method design. In general, detection tasks are often meaningfully distinct from the challenges that online services actually face. Datasets and model evaluation are often non-representative of real-world contexts, and evaluation frequently is not independent of model training. Data and code availability is poor. We demonstrate the limitations of current detection methods in a series of three replication studies. Based on the results of these analyses and our literature survey, we offer recommendations for evaluating applications of machine learning to trust and safety problems in general. Our aim is for future work to avoid the pitfalls that we identify.
• Abstract（参考訳）: 信頼と安全問題に機械学習を適用する際の奨学金と実践の分離を,誤情報検出を事例として検討する。 フィールドに270の有能な論文からなるコーパスを用いた誤情報の自動検出に関する文献を体系化する。 次に、データおよびコードの可用性、設計ミスステップ、再現性、一般化性のための論文のサブセットを調べます。 論文のコーパスには,セキュリティ,自然言語処理,計算社会科学に関する著作が含まれている。 これらの異なる分野にまたがって、データセットとメソッド設計における一般的なエラーを特定します。 一般的に、検出タスクは、オンラインサービスが実際に直面する課題とは、しばしば意味的に異なる。 データセットとモデル評価は、しばしば実世界のコンテキストに非代表的であり、評価はしばしばモデルトレーニングとは独立ではない。 データとコードの可用性は乏しい。 本稿では,3つの複製研究における電流検出手法の限界について述べる。 これらの分析結果と文献調査に基づいて,マシンラーニングの信頼性および安全性問題への適用性を評価するための推奨事項を提案する。 私たちの目標は、私たちが特定する落とし穴を避けるための将来の作業です。

関連論文リスト

• Verification of Machine Unlearning is Fragile [48.71651033308842]
  両タイプの検証戦略を回避できる2つの新しい非学習プロセスを導入する。 この研究は、機械学習検証の脆弱性と限界を強調し、機械学習の安全性に関するさらなる研究の道を開く。
  論文  参考訳（メタデータ） (2024-08-01T21:37:10Z)
• A Survey of Defenses against AI-generated Visual Media: Detection, Disruption, and Authentication [15.879482578829489]
  深層生成モデルは様々なコンピュータビジョンアプリケーションで顕著な性能を示した。 これらのモデルは、誤情報、偽造、著作権侵害などの悪意ある目的のために使用されることがある。 本稿では,AI生成したビジュアルメディアに対する防衛研究の体系的かつタイムリーなレビューを行う。
  論文  参考訳（メタデータ） (2024-07-15T09:46:02Z)
• Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
  AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。 近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。 我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
  論文  参考訳（メタデータ） (2024-06-13T08:37:01Z)
• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• Managing the unknown: a survey on Open Set Recognition and tangential areas [7.345136916791223]
  オープンセット認識モデルは、テストフェーズに到達したサンプルから未知のクラスを検出すると同時に、既知のクラスに属するサンプルの分類において優れたパフォーマンスを維持することができる。 本稿では,オープンセット認識に関する最近の文献を包括的に概観し,この分野と他の機械学習研究領域との共通プラクティス,制限,関連性を明らかにする。 私たちの研究は、オープンな問題も明らかにし、より安全な人工知能手法への将来の取り組みを動機づけ、具体化するいくつかの研究方向を提案する。
  論文  参考訳（メタデータ） (2023-12-14T10:08:12Z)
• Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
  データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。 この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。 実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
  論文  参考訳（メタデータ） (2022-02-21T14:43:38Z)
• Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or Something Else? [93.91375268580806]
  政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。 既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。 既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
  論文  参考訳（メタデータ） (2021-11-09T13:30:34Z)
• Individual Explanations in Machine Learning Models: A Survey for Practitioners [69.02688684221265]
  社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。 多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。 近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
  論文  参考訳（メタデータ） (2021-04-09T01:46:34Z)
• Survey of Network Intrusion Detection Methods from the Perspective of the Knowledge Discovery in Databases Process [63.75363908696257]
  本稿では,侵入検知器の開発を目的として,ネットワークデータに適用された手法について概説する。 本稿では,データのキャプチャ,準備,変換,データマイニング,評価などの手法について論じる。 この文献レビューの結果、ネットワークセキュリティ分野のさらなる研究のために考慮すべきいくつかのオープンな問題について検討する。
  論文  参考訳（メタデータ） (2020-01-27T11:21:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。