論文の概要: Operationalizing content moderation "accuracy" in the Digital Services Act
- arxiv url: http://arxiv.org/abs/2305.09601v4
- Date: Sun, 2 Jun 2024 15:56:24 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-04 21:39:44.226082
- Title: Operationalizing content moderation "accuracy" in the Digital Services Act
- Title（参考訳）: デジタルサービス法におけるコンテンツモデレーションの「正確性」の運用
- Authors: Johnny Tian-Zheng Wei, Frederike Zufall, Robin Jia,
- Abstract要約: EUが採択したデジタルサービス法(Digital Services Act)では、ソーシャルメディアプラットフォームが自動コンテンツモデレーションシステムの「正確性」を報告する必要がある。
さらなる仕様がなければ、規制要件は不十分な報告を可能にする。
我々は、法的概念を精査し、技術的実装に関連する「正確さ」レポートを運用する。
- 参考スコア（独自算出の注目度）: 21.6950868055942
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Digital Services Act, recently adopted by the EU, requires social media platforms to report the "accuracy" of their automated content moderation systems. The colloquial term is vague, or open-textured -- the literal accuracy (number of correct predictions divided by the total) is not suitable for problems with large class imbalance, and the ground truth and dataset to measure accuracy against is unspecified. Without further specification, the regulatory requirement allows for deficient reporting. In this interdisciplinary work, we operationalize "accuracy" reporting by refining legal concepts and relating them to technical implementation. We start by elucidating the legislative purpose of the Act to legally justify an interpretation of "accuracy" as precision and recall. These metrics remain informative in class imbalanced settings, and reflect the proportional balancing of Fundamental Rights of the EU Charter. We then focus on the estimation of recall, as its naive estimation can incur extremely high annotation costs and disproportionately interfere with the platform's right to conduct business. Through a simulation study, we show that recall can be efficiently estimated using stratified sampling with trained classifiers, and provide concrete recommendations for its application. Finally, we present a case study of recall reporting for a subset of Reddit under the Act. Based on the language in the Act, we identify a number of ways recall could be reported due to underspecification. We report on one possibility using our improved estimator, and discuss the implications and areas for further legal clarification.
- Abstract（参考訳）: EUが最近採択したデジタルサービス法(Digital Services Act)では、ソーシャルメディアプラットフォームが自動コンテンツモデレーションシステムの「正確性」を報告する必要がある。
口語という用語は曖昧で、オープンテクスチャで、正解精度(合計で割り切れた正確な予測数)は大きなクラス不均衡の問題には不適であり、精度を測る根拠となる真実とデータセットは特定されていない。
さらなる仕様がなければ、規制要件は不十分な報告を可能にする。
この学際的な研究において、法的概念を精査し、技術的実装に関連付けて「正確さ」の報告を運用する。
我々は,「正確性」の解釈を精度とリコールとして法的に正当化する法律の立法目的を解明することから始める。
これらの指標は、クラス不均衡な設定において情報的であり、EU憲章の基本的権利の比例的バランスを反映している。
提案手法は,極めて高いアノテーションコストを発生させることができ,かつ,プラットフォームがビジネスを行う権利を不当に阻害することができるため,リコールの推定に重点を置いている。
シミュレーション研究を通じて,訓練された分類器を用いた階層化サンプリングを用いて,効率的にリコールを推定できることを示し,その適用のために具体的なレコメンデーションを提供する。
最後に、この法律に基づくRedditのサブセットに対するリコールレポートのケーススタディを示す。
この法律の言語に基づいて、不特定性のためにリコールを報告できるいくつかの方法を特定した。
本稿では,改良型推定器を用いた1つの可能性について報告し,さらなる法的明確化の意義と領域について論じる。
関連論文リスト
- Rethinking Legal Compliance Automation: Opportunities with Large Language Models [2.9088208525097365]
我々は、(テキスト)法的アーティファクトの試験は、まず文よりも広い文脈で行うべきであると論じる。
これらの制約に対処するために,コンプライアンス分析手法を提案する。
論文 参考訳（メタデータ） (2024-04-22T17:10:27Z) - BayesJudge: Bayesian Kernel Language Modelling with Confidence Uncertainty in Legal Judgment Prediction [14.672477787408887]
深層学習と深層ガウス過程の相乗効果を利用して不確実性を定量化するBayesJudgeという新しい手法を提案する。
提案手法は,予測精度と信頼性推定の両方で既存の手法を超越し,カーネルを介した情報的事前およびフレキシブルなデータモデリングを利用する。
また,信頼できない予測の精査を自動化する最適解を導入し,モデル予測の精度を最大27%向上させた。
論文 参考訳（メタデータ） (2024-04-16T11:42:06Z) - DELTA: Pre-train a Discriminative Encoder for Legal Case Retrieval via Structural Word Alignment [55.91429725404988]
判例検索のための識別モデルであるDELTAを紹介する。
我々は浅層デコーダを利用して情報ボトルネックを作り、表現能力の向上を目指しています。
本手法は, 判例検索において, 既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2024-03-27T10:40:14Z) - Longitudinal Counterfactuals: Constraints and Opportunities [59.11233767208572]
本稿では,反ファクトの妥当性を評価・改善するために,縦断データを用いた手法を提案する。
本研究では, 縦差と反実差を比較する指標を開発し, 先行観測した変化と反実差の類似性を評価する。
論文 参考訳（メタデータ） (2024-02-29T20:17:08Z) - Unsupervised Pretraining for Fact Verification by Language Model
Distillation [4.504050940874427]
SFAVEL (Self-supervised Fact Verification via Language Model Distillation) は,教師なし事前学習フレームワークである。
アノテーションを必要とせずに、自己管理機能を高品質なクレーム-ファクトアライメントに分解する。
これは、特徴が高品質なクレームとエビデンスアライメントを達成することを奨励する、新しい対照的な損失関数によって実現されている。
論文 参考訳（メタデータ） (2023-09-28T15:53:44Z) - Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。
ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
論文 参考訳（メタデータ） (2023-05-24T06:55:09Z) - Rapid Adaptation in Online Continual Learning: Are We Evaluating It
Right? [135.71855998537347]
オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。
空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。
既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
論文 参考訳（メタデータ） (2023-05-16T08:29:33Z) - Simultaneous Improvement of ML Model Fairness and Performance by
Identifying Bias in Data [1.76179873429447]
トレーニング前にデータセットから削除すべき特定の種類のバイアスを記述したインスタンスを検出できるデータ前処理手法を提案する。
特に、類似した特徴を持つインスタンスが存在するが、保護属性の変動に起因するラベルが異なる問題設定では、固有のバイアスがデータセット内で引き起こされる、と主張する。
論文 参考訳（メタデータ） (2022-10-24T13:04:07Z) - Canary in a Coalmine: Better Membership Inference with Ensembled
Adversarial Queries [53.222218035435006]
私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。
我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
論文 参考訳（メタデータ） (2022-10-19T17:46:50Z) - Explainable Abuse Detection as Intent Classification and Slot Filling [66.80201541759409]
我々は、システムがデータ検査だけで乱用を構成する事象を確実に学習できるという非現実的な期待を捨て、政策対応による悪用検出の概念を導入する。
目的分類とスロットフィリングのためのアーキテクチャは、モデル決定の根拠を提供しながら、悪用検出にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2022-10-06T03:33:30Z) - On the Trade-Off between Actionable Explanations and the Right to be
Forgotten [21.26254644739585]
データ削除要求の文脈におけるリコース無効化の問題について検討する。
トレーニングセットから最大2つのデータインスタンスを削除することで、一般的な最先端アルゴリズムによって出力されるすべてのリコースの最大95%を無効化できることを示す。
論文 参考訳（メタデータ） (2022-08-30T10:35:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。