論文の概要: Measuring and Improving Model-Moderator Collaboration using Uncertainty Estimation

• arxiv url: http://arxiv.org/abs/2107.04212v1
• Date: Fri, 9 Jul 2021 05:07:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-12 13:59:08.694962
• Title: Measuring and Improving Model-Moderator Collaboration using Uncertainty Estimation
• Title（参考訳）: 不確実性推定を用いたモデル・モデレータ協調の測定と改善
• Authors: Ian D. Kivlichan, Zi Lin, Jeremiah Liu, Lucy Vasserman
• Abstract要約: 複合モデレーター-モデルシステムの性能を最大化するために、協調的なプロセスを設計する方法はよく理解されていない。 我々は,人間モデレーターの容量制約下での協調システムの性能を記述するために,原則付きメトリクスを導入する。 我々は、様々な協調的レビュー戦略の下で、最先端の不確実性モデルの性能を評価する大規模なベンチマーク研究を行う。
• 参考スコア（独自算出の注目度）: 4.798859198560511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Content moderation is often performed by a collaboration between humans and machine learning models. However, it is not well understood how to design the collaborative process so as to maximize the combined moderator-model system performance. This work presents a rigorous study of this problem, focusing on an approach that incorporates model uncertainty into the collaborative process. First, we introduce principled metrics to describe the performance of the collaborative system under capacity constraints on the human moderator, quantifying how efficiently the combined system utilizes human decisions. Using these metrics, we conduct a large benchmark study evaluating the performance of state-of-the-art uncertainty models under different collaborative review strategies. We find that an uncertainty-based strategy consistently outperforms the widely used strategy based on toxicity scores, and moreover that the choice of review strategy drastically changes the overall system performance. Our results demonstrate the importance of rigorous metrics for understanding and developing effective moderator-model systems for content moderation, as well as the utility of uncertainty estimation in this domain.
• Abstract（参考訳）: コンテンツモデレーションは、人間と機械学習モデルのコラボレーションによって実行されることが多い。 しかし,モデレータとモデルを組み合わせたシステムの性能を最大化するために,協調的なプロセスの設計方法がよく理解されていない。 本研究は,協調的プロセスにモデル不確実性を取り込むアプローチに着目し,この問題を厳密に研究する。 まず,人間のモデレーター上での容量制約下での協調システムの性能を記述するための原則付きメトリクスを導入し,組み合わせたシステムがいかに人的決定を効果的に活用するかを定量化する。 これらの指標を用いて, 異なる協調的レビュー戦略の下で, 最先端の不確実性モデルの性能評価を行う。 不確実性に基づく戦略は、毒性スコアに基づく広く使用されている戦略を一貫して上回っており、レビュー戦略の選択はシステム全体のパフォーマンスを劇的に変化させる。 本研究は,コンテンツモデレーションのための効果的なモデレータモデルシステムを理解・開発するための厳密なメトリクスの重要性と,この領域における不確実性推定の有用性を示す。

関連論文リスト

• Provably Better Explanations with Optimized Aggregation of Feature Attributions [36.22433695108499]
  ポストホックな説明に特徴属性を使用することは、不透明な機械学習モデルの予測を理解し検証する一般的なプラクティスである。 本稿では,特徴属性の最適凸結合を導出する新たな手法を提案する。
  論文  参考訳（メタデータ） (2024-06-07T17:03:43Z)
• Self-Improving Interference Management Based on Deep Learning With Uncertainty Quantification [10.403513606082067]
  本稿では,無線通信に適した自己改善型干渉管理フレームワークを提案する。 提案手法は,従来の最適化アルゴリズムに固有の計算課題に対処する。 私たちのフレームワークのブレークスルーは、データ駆動モデルに固有の制限を認識することです。
  論文  参考訳（メタデータ） (2024-01-24T03:28:48Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Better Understanding Differences in Attribution Methods via Systematic Evaluations [57.35035463793008]
  モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。 本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。 これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
  論文  参考訳（メタデータ） (2023-03-21T14:24:58Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)
• On the Complexity of Adversarial Decision Making [101.14158787665252]
  決定推定係数は, 相手の意思決定に対する後悔度を低く抑えるのに必要であり, 十分であることを示す。 我々は、決定推定係数を他のよく知られた複雑性尺度の変種に結びつける新しい構造結果を提供する。
  論文  参考訳（メタデータ） (2022-06-27T06:20:37Z)
• Can collaborative learning be private, robust and scalable? [6.667150890634173]
  列車および推論時攻撃におけるモデルに対する頑健性を改善するために, 差分プライバシー, モデル圧縮, および対人訓練を組み合わせることの有効性を検討する。 本研究は, モデル性能, モデルサイズを著しく低減し, 高い性能劣化を伴わずに, 経験的対角ロバスト性の向上を実現するための, 様々な手法の実践的概要を提供する。
  論文  参考訳（メタデータ） (2022-05-05T13:51:44Z)
• Imitation Learning by State-Only Distribution Matching [2.580765958706854]
  観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。 本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
  論文  参考訳（メタデータ） (2022-02-09T08:38:50Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。