論文の概要: Learning to Defer in Content Moderation: The Human-AI Interplay

• arxiv url: http://arxiv.org/abs/2402.12237v1
• Date: Mon, 19 Feb 2024 15:47:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 15:46:26.942691
• Title: Learning to Defer in Content Moderation: The Human-AI Interplay
• Title（参考訳）: コンテンツモデレーションにおける推論の学習--ヒューマン・aiインタープレイ
• Authors: Thodoris Lykouris, Wentao Weng
• Abstract要約: オンラインプラットフォームにおけるコンテンツモデレーションの成功は、人間とAIのコラボレーションアプローチに依存している。 本稿では,コンテンツモデレーションにおける人間とAIの相互作用を捉えるモデルを提案する。 本稿では,選択されたサンプルデータからの分類損失を注意深くバランスする,準最適学習アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 5.108794185679989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successful content moderation in online platforms relies on a human-AI collaboration approach. A typical heuristic estimates the expected harmfulness of a post and uses fixed thresholds to decide whether to remove it and whether to send it for human review. This disregards the prediction uncertainty, the time-varying element of human review capacity and post arrivals, and the selective sampling in the dataset (humans only review posts filtered by the admission algorithm). In this paper, we introduce a model to capture the human-AI interplay in content moderation. The algorithm observes contextual information for incoming posts, makes classification and admission decisions, and schedules posts for human review. Only admitted posts receive human reviews on their harmfulness. These reviews help educate the machine-learning algorithms but are delayed due to congestion in the human review system. The classical learning-theoretic way to capture this human-AI interplay is via the framework of learning to defer, where the algorithm has the option to defer a classification task to humans for a fixed cost and immediately receive feedback. Our model contributes to this literature by introducing congestion in the human review system. Moreover, unlike work on online learning with delayed feedback where the delay in the feedback is exogenous to the algorithm's decisions, the delay in our model is endogenous to both the admission and the scheduling decisions. We propose a near-optimal learning algorithm that carefully balances the classification loss from a selectively sampled dataset, the idiosyncratic loss of non-reviewed posts, and the delay loss of having congestion in the human review system. To the best of our knowledge, this is the first result for online learning in contextual queueing systems and hence our analytical framework may be of independent interest.
• Abstract（参考訳）: オンラインプラットフォームにおけるコンテンツモデレーションの成功は、人間とAIのコラボレーションアプローチに依存している。 典型的なヒューリスティックな見積もりでは、ポストが期待される有害性を推定し、一定の閾値を使って削除するかどうか、ヒューマンレビューに送るかどうかを判断する。 これは、予測の不確実性、人間のレビュー能力とポスト到着の時間変化要素、データセットの選択的サンプリング(入場アルゴリズムでフィルタリングされたレビューポストのみ)を無視している。 本稿では,コンテンツモデレーションにおける人間とAIの相互作用を捉えるモデルを提案する。 このアルゴリズムは、受信した投稿の文脈情報を観察し、分類と入場の決定を行い、ヒューマンレビューのためにポストをスケジュールする。 許可された投稿だけが、その有害性に関する人間のレビューを受ける。 これらのレビューは、機械学習アルゴリズムの教育に役立つが、人間のレビューシステムの混雑により遅れている。 この人間とAIの相互作用を捉えるための古典的な学習理論は、学習のフレームワークを通じて遅延し、アルゴリズムは特定のコストで人間に分類タスクを延期し、即座にフィードバックを受け取るオプションを持つ。 我々のモデルは,人間のレビューシステムに混雑を導入することで,この文献に寄与する。 さらに、フィードバックの遅延がアルゴリズムの判断に外在的である遅延フィードバックによるオンライン学習の作業とは異なり、我々のモデルにおける遅延は入試とスケジュール決定の両方に内在的である。 提案アルゴリズムは,選択されたサンプルデータセットからの分類損失,非レビューポストの慣用的損失,ヒトレビューシステムにおける混雑の遅延損失とを慎重にバランスさせる。 我々の知る限りでは、これは文脈待ち行列システムにおけるオンライン学習の最初の結果であり、分析フレームワークは独立した関心を持つかもしれない。

関連論文リスト

• Online Bandit Learning with Offline Preference Data [15.799929216215672]
  ノイズの多い選好フィードバックを持つオフラインデータセットでウォームスタートできるオンライン学習のための後部サンプリングアルゴリズムを提案する。 生成したエキスパートの“コンピテンス”をモデル化することで、そのようなデータセットを最も効果的に利用できることを示します。
  論文  参考訳（メタデータ） (2024-06-13T20:25:52Z)
• Does AI help humans make better decisions? A statistical evaluation framework for experimental and observational studies [0.43981305860983716]
  我々は、人間とAI、AIの3つの代替意思決定システムのパフォーマンスを比較する方法を示す。 リスクアセスメントの勧告は、現金保釈を課す裁判官の決定の分類精度を向上しないことがわかった。
  論文  参考訳（メタデータ） (2024-03-18T01:04:52Z)
• Leveraging AI Predicted and Expert Revised Annotations in Interactive Segmentation: Continual Tuning or Full Training? [7.742968966681627]
  人間の専門家はAIによって予測されるアノテーションを改訂し、その結果、AIはこれらの改訂されたアノテーションから学習することで予測を改善する。 破滅的な忘れのリスク--AIは、専門家の改訂されたクラスを使用して再訓練された場合にのみ、以前に学んだクラスを忘れる傾向があります。 本稿では,ネットワーク設計とデータ再利用という2つの視点からこの問題に対処する継続的チューニングを提案する。
  論文  参考訳（メタデータ） (2024-02-29T18:22:12Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Phonetic and Prosody-aware Self-supervised Learning Approach for Non-native Fluency Scoring [13.817385516193445]
  音声と韻律の特徴を解析することにより、音声の流速/拡散を評価することができる。 ディープ・ニューラル・ネットワークは一般に、流感に関連した特徴を人間のスコアにマッピングするように訓練されている。 本稿では,流音評価のための音声と韻律の認識を考慮した自己教師付き学習(SSL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:41Z)
• Human-Centric Multimodal Machine Learning: Recent Advances and Testbed on AI-based Recruitment [66.91538273487379]
  人間中心のアプローチでAIアプリケーションを開発する必要性には、ある程度のコンセンサスがある。 i)ユーティリティと社会的善、(ii)プライバシとデータ所有、(iii)透明性と説明責任、(iv)AIによる意思決定プロセスの公正性。 異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。
  論文  参考訳（メタデータ） (2023-02-13T16:44:44Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Tribrid: Stance Classification with Neural Inconsistency Detection [9.150728831518459]
  本稿では,BERTなどのニューラルアーキテクチャを用いたソーシャルメディア上での自動姿勢分類を行う際の課題について検討する。 提案するニューラルアーキテクチャでは,任意のクレームに対して自動生成された否定的視点も含んでいる。 モデルは同時に複数の予測を行うように共同で学習され、元の視点の分類を改善するか、疑わしい予測をフィルタリングするために使用することができる。
  論文  参考訳（メタデータ） (2021-09-14T08:13:03Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
  本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。 具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。 大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-03-07T03:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。