論文の概要: The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection
- arxiv url: http://arxiv.org/abs/2308.12215v3
- Date: Wed, 19 Jun 2024 20:33:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-22 06:47:03.157758
- Title: The Challenges of Machine Learning for Trust and Safety: A Case Study on Misinformation Detection
- Title（参考訳）: 信頼と安全のための機械学習の課題 : 誤情報検出を事例として
- Authors: Madelyne Xiao, Jonathan Mayer,
- Abstract要約: 信頼性と安全性の問題に機械学習を適用する際、奨学金と実践の切り離しについて検討する。
本研究は,現場における248件の有能な論文からなるコーパスにおける誤情報の自動検出に関する文献調査である。
完全自動検出における現在の最先端技術は、人為的誤報の検出において、限られた有効性を有すると結論づける。
- 参考スコア（独自算出の注目度）: 0.8057006406834466
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We examine the disconnect between scholarship and practice in applying machine learning to trust and safety problems, using misinformation detection as a case study. We survey literature on automated detection of misinformation across a corpus of 248 well-cited papers in the field. We then examine subsets of papers for data and code availability, design missteps, reproducibility, and generalizability. Our paper corpus includes published work in security, natural language processing, and computational social science. Across these disparate disciplines, we identify common errors in dataset and method design. In general, detection tasks are often meaningfully distinct from the challenges that online services actually face. Datasets and model evaluation are often non-representative of real-world contexts, and evaluation frequently is not independent of model training. We demonstrate the limitations of current detection methods in a series of three representative replication studies. Based on the results of these analyses and our literature survey, we conclude that the current state-of-the-art in fully-automated misinformation detection has limited efficacy in detecting human-generated misinformation. We offer recommendations for evaluating applications of machine learning to trust and safety problems and recommend future directions for research.
- Abstract（参考訳）: 本研究では, 情報誤検出を事例として, 信頼と安全問題に機械学習を適用する際の学業と実践の切り離しについて検討する。
本研究は,現場における248件の有能な論文からなるコーパスにおける誤情報の自動検出に関する文献調査である。
次に、データとコードの可用性、設計ミスステップ、再現性、一般化可能性に関する論文のサブセットを調べます。
本稿は、セキュリティ、自然言語処理、計算社会科学に関する論文を含む。
これらの異なる分野にまたがって、データセットやメソッド設計における一般的なエラーを特定します。
一般的に、検出タスクは、オンラインサービスが実際に直面する課題と有意義に異なることが多い。
データセットとモデル評価は、しばしば現実世界の文脈に非表現的であり、しばしば評価はモデルトレーニングとは独立しない。
本稿では,3つの代表的な複製研究において,電流検出手法の限界を示す。
これらの分析と文献調査の結果から, 完全自動誤報検出における最先端技術は, 人為的誤報検出における有効性に限界があることが明らかとなった。
我々は、マシンラーニングの信頼性と安全性問題への適用を評価するための推奨事項を提供し、研究の今後の方向性を推奨する。
関連論文リスト
- Verification of Machine Unlearning is Fragile [48.71651033308842]
両タイプの検証戦略を回避できる2つの新しい非学習プロセスを導入する。
この研究は、機械学習検証の脆弱性と限界を強調し、機械学習の安全性に関するさらなる研究の道を開く。
論文 参考訳（メタデータ） (2024-08-01T21:37:10Z) - A Survey of Defenses against AI-generated Visual Media: Detection, Disruption, and Authentication [15.879482578829489]
深層生成モデルは様々なコンピュータビジョンアプリケーションで顕著な性能を示した。
これらのモデルは、誤情報、偽造、著作権侵害などの悪意ある目的のために使用されることがある。
本稿では,AI生成したビジュアルメディアに対する防衛研究の体系的かつタイムリーなレビューを行う。
論文 参考訳（メタデータ） (2024-07-15T09:46:02Z) - Navigating the Shadows: Unveiling Effective Disturbances for Modern AI Content Detectors [24.954755569786396]
AIテキスト検出は、人間と機械が生成したコンテンツを区別するために現れた。
近年の研究では、これらの検出システムは、しばしば頑丈さを欠き、摂動テキストを効果的に区別する難しさを欠いていることが示されている。
我々の研究は、非公式な文章と専門的な文章の両方で現実世界のシナリオをシミュレートし、現在の検出器のアウト・オブ・ボックスのパフォーマンスを探求する。
論文 参考訳（メタデータ） (2024-06-13T08:37:01Z) - A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。
このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。
我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
論文 参考訳（メタデータ） (2024-06-05T13:40:07Z) - Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。
トピックと検出性能の間に有意な相関関係が発見された。
これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
論文 参考訳（メタデータ） (2023-12-20T10:53:53Z) - Managing the unknown: a survey on Open Set Recognition and tangential
areas [7.345136916791223]
オープンセット認識モデルは、テストフェーズに到達したサンプルから未知のクラスを検出すると同時に、既知のクラスに属するサンプルの分類において優れたパフォーマンスを維持することができる。
本稿では,オープンセット認識に関する最近の文献を包括的に概観し,この分野と他の機械学習研究領域との共通プラクティス,制限,関連性を明らかにする。
私たちの研究は、オープンな問題も明らかにし、より安全な人工知能手法への将来の取り組みを動機づけ、具体化するいくつかの研究方向を提案する。
論文 参考訳（メタデータ） (2023-12-14T10:08:12Z) - Poisoning Attacks and Defenses on Artificial Intelligence: A Survey [3.706481388415728]
データ中毒攻撃は、トレーニングフェーズ中にモデルに供給されたデータサンプルを改ざんして、推論フェーズ中にモデルの精度を低下させる攻撃の一種である。
この研究は、この種の攻撃に対処する最新の文献で見つかった最も関連性の高い洞察と発見をまとめたものである。
実環境下での幅広いMLモデルに対するデータ中毒の影響を比較検討し,本研究の徹底的な評価を行った。
論文 参考訳（メタデータ） (2022-02-21T14:43:38Z) - Human-in-the-Loop Disinformation Detection: Stance, Sentiment, or
Something Else? [93.91375268580806]
政治とパンデミックは、機械学習対応の偽ニュース検出アルゴリズムの開発に十分な動機を与えている。
既存の文献は、主に完全自動化されたケースに焦点を当てているが、その結果得られた技術は、軍事応用に必要な様々なトピック、ソース、時間スケールに関する偽情報を確実に検出することはできない。
既に利用可能なアナリストを人間のループとして活用することにより、感情分析、アスペクトベースの感情分析、姿勢検出といった標準的な機械学習技術は、部分的に自動化された偽情報検出システムに使用するためのもっとも有効な方法となる。
論文 参考訳（メタデータ） (2021-11-09T13:30:34Z) - Individual Explanations in Machine Learning Models: A Survey for
Practitioners [69.02688684221265]
社会的関連性の高い領域の決定に影響を与える洗練された統計モデルの使用が増加しています。
多くの政府、機関、企業は、アウトプットが人間の解釈可能な方法で説明しにくいため、採用に消極的です。
近年,機械学習モデルに解釈可能な説明を提供する方法として,学術文献が多数提案されている。
論文 参考訳（メタデータ） (2021-04-09T01:46:34Z) - Survey of Network Intrusion Detection Methods from the Perspective of
the Knowledge Discovery in Databases Process [63.75363908696257]
本稿では,侵入検知器の開発を目的として,ネットワークデータに適用された手法について概説する。
本稿では,データのキャプチャ,準備,変換,データマイニング,評価などの手法について論じる。
この文献レビューの結果、ネットワークセキュリティ分野のさらなる研究のために考慮すべきいくつかのオープンな問題について検討する。
論文 参考訳（メタデータ） (2020-01-27T11:21:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。