論文の概要: Operationalizing content moderation "accuracy" in the Digital Services
Act
- arxiv url: http://arxiv.org/abs/2305.09601v3
- Date: Mon, 26 Feb 2024 17:13:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 00:47:06.057679
- Title: Operationalizing content moderation "accuracy" in the Digital Services
Act
- Title（参考訳）: デジタルサービス法におけるコンテンツモデレーションの「正確性」の運用
- Authors: Johnny Tian-Zheng Wei, Frederike Zufall, Robin Jia
- Abstract要約: EUが採択したデジタルサービス法(Digital Services Act)では、ソーシャルメディアプラットフォームが自動コンテンツモデレーションシステムの「正確性」を報告する必要がある。
さらなる仕様がなければ、規制要件は不十分な報告を可能にする。
我々は、法的概念を精査し、技術的実装に関連する「正確さ」レポートを運用する。
- 参考スコア（独自算出の注目度）: 24.383103399175248
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Digital Services Act, recently adopted by the EU, requires social media
platforms to report the "accuracy" of their automated content moderation
systems. The colloquial term is vague, or open-textured -- the literal accuracy
(number of correct predictions divided by the total) is not suitable for
problems with large class imbalance, and the ground truth and dataset to
measure accuracy against is unspecified. Without further specification, the
regulatory requirement allows for deficient reporting. In this
interdisciplinary work, we operationalize "accuracy" reporting by refining
legal concepts and relating them to technical implementation. We start by
elucidating the legislative purpose of the Act to legally justify an
interpretation of "accuracy" as precision and recall. These metrics remain
informative in class imbalanced settings, and reflect the proportional
balancing of Fundamental Rights of the EU Charter. We then focus on the
estimation of recall, as its naive estimation can incur extremely high
annotation costs and disproportionately interfere with the platform's right to
conduct business. Through a simulation study, we show that recall can be
efficiently estimated using stratified sampling with trained classifiers, and
provide concrete recommendations for its application. Finally, we present a
case study of recall reporting for a subset of Reddit under the Act. Based on
the language in the Act, we identify a number of ways recall could be reported
due to underspecification. We report on one possibility using our improved
estimator, and discuss the implications and need for legal clarification.
- Abstract（参考訳）: EUが最近採択したデジタルサービス法(Digital Services Act)では、ソーシャルメディアプラットフォームが自動コンテンツモデレーションシステムの「正確性」を報告する必要がある。
口語という用語は曖昧で、オープンテクスチャで、正解精度(合計で割り切れた正確な予測数)は大きなクラス不均衡の問題には不適であり、精度を測る根拠となる真実とデータセットは特定されていない。
さらなる規定がなければ、規制要件は報告の不足を許容する。
この学際的な研究において,我々は,法的概念を精査し,それらを技術実装に関連付けることで,「正確」な報告を運用する。
我々は,「正確性」の解釈を精度とリコールとして法的に正当化する法律の立法目的を解明することから始める。
これらの指標は、クラス不均衡な設定において情報的であり、EU憲章の基本的権利の比例的バランスを反映している。
提案手法は,極めて高いアノテーションコストを発生させることができ,かつ,プラットフォームがビジネスを行う権利を不当に阻害することができるため,リコールの推定に重点を置いている。
シミュレーション研究を通じて,訓練された分類器を用いた階層化サンプリングを用いて,効率的にリコールを推定できることを示し,その応用に具体的な勧告を提供する。
最後に、この法律の下でredditのサブセットについてリコール報告を行うケーススタディを示す。
この法律の言語に基づいて、不特定性のためにリコールを報告できるいくつかの方法を特定した。
我々は,改良された推定器を用いた可能性の1つを報告し,法的明確化の必要性と意義について論じる。
関連論文リスト
- Scaling Laws for Precision [73.24325358259753]
トレーニングと推論の両方に"精度対応"のスケーリング法則を考案する。
推論では,学習後の量子化によって生じる劣化が,モデルがより多くのデータに基づいて訓練されるにつれて増加することが分かる。
トレーニングのために、我々のスケーリング法則は、異なるパーツの異なるモデルの損失を、異なる精度で予測することができる。
論文 参考訳（メタデータ） (2024-11-07T00:10:10Z) - Editable Fairness: Fine-Grained Bias Mitigation in Language Models [52.66450426729818]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳（メタデータ） (2024-08-07T17:14:58Z) - Rethinking Legal Compliance Automation: Opportunities with Large Language Models [2.9088208525097365]
我々は、(テキスト)法的アーティファクトの試験は、まず文よりも広い文脈で行うべきであると論じる。
これらの制約に対処するために,コンプライアンス分析手法を提案する。
論文 参考訳（メタデータ） (2024-04-22T17:10:27Z) - BayesJudge: Bayesian Kernel Language Modelling with Confidence Uncertainty in Legal Judgment Prediction [14.672477787408887]
深層学習と深層ガウス過程の相乗効果を利用して不確実性を定量化するBayesJudgeという新しい手法を提案する。
提案手法は,予測精度と信頼性推定の両方で既存の手法を超越し,カーネルを介した情報的事前およびフレキシブルなデータモデリングを利用する。
また,信頼できない予測の精査を自動化する最適解を導入し,モデル予測の精度を最大27%向上させた。
論文 参考訳（メタデータ） (2024-04-16T11:42:06Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-03-27T10:40:14Z) - Longitudinal Counterfactuals: Constraints and Opportunities [59.11233767208572]
本稿では,反ファクトの妥当性を評価・改善するために,縦断データを用いた手法を提案する。
本研究では, 縦差と反実差を比較する指標を開発し, 先行観測した変化と反実差の類似性を評価する。
論文 参考訳（メタデータ） (2024-02-29T20:17:08Z) - Unsupervised Pretraining for Fact Verification by Language Model
Distillation [4.504050940874427]
SFAVEL (Self-supervised Fact Verification via Language Model Distillation) は,教師なし事前学習フレームワークである。
アノテーションを必要とせずに、自己管理機能を高品質なクレーム-ファクトアライメントに分解する。
これは、特徴が高品質なクレームとエビデンスアライメントを達成することを奨励する、新しい対照的な損失関数によって実現されている。
論文 参考訳（メタデータ） (2023-09-28T15:53:44Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳（メタデータ） (2023-05-16T08:29:33Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳（メタデータ） (2022-10-24T13:04:07Z) - Canary in a Coalmine: Better Membership Inference with Ensembled
Adversarial Queries [53.222218035435006]
私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。
我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
論文 参考訳（メタデータ） (2022-10-19T17:46:50Z) - On the Trade-Off between Actionable Explanations and the Right to be
Forgotten [21.26254644739585]
データ削除要求の文脈におけるリコース無効化の問題について検討する。
トレーニングセットから最大2つのデータインスタンスを削除することで、一般的な最先端アルゴリズムによって出力されるすべてのリコースの最大95%を無効化できることを示す。
論文 参考訳（メタデータ） (2022-08-30T10:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。