論文の概要: Algorithmic Arbitrariness in Content Moderation
- arxiv url: http://arxiv.org/abs/2402.16979v1
- Date: Mon, 26 Feb 2024 19:27:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 18:54:04.280278
- Title: Algorithmic Arbitrariness in Content Moderation
- Title(参考訳): コンテンツモデレーションにおけるアルゴリズム的任意性
- Authors: Juan Felipe Gomez and Caio Vieira Machado and Lucas Monteiro Paes and
Flavio P. Calmon
- Abstract要約: コンテンツモデレーションツールは、サンプルを任意に有毒と分類する方法を示す。
我々は、国際公民権条約(ICCPR)が定める人権の観点からこれらの知見について議論する。
本研究は、コンテンツモデレーションアプリケーションにおいて、任意性の透明性を識別し、向上する必要性を浮き彫りにする。
- 参考スコア(独自算出の注目度): 1.4849645397321183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning (ML) is widely used to moderate online content. Despite its
scalability relative to human moderation, the use of ML introduces unique
challenges to content moderation. One such challenge is predictive
multiplicity: multiple competing models for content classification may perform
equally well on average, yet assign conflicting predictions to the same
content. This multiplicity can result from seemingly innocuous choices during
model development, such as random seed selection for parameter initialization.
We experimentally demonstrate how content moderation tools can arbitrarily
classify samples as toxic, leading to arbitrary restrictions on speech. We
discuss these findings in terms of human rights set out by the International
Covenant on Civil and Political Rights (ICCPR), namely freedom of expression,
non-discrimination, and procedural justice. We analyze (i) the extent of
predictive multiplicity among state-of-the-art LLMs used for detecting toxic
content; (ii) the disparate impact of this arbitrariness across social groups;
and (iii) how model multiplicity compares to unambiguous human classifications.
Our findings indicate that the up-scaled algorithmic moderation risks
legitimizing an algorithmic leviathan, where an algorithm disproportionately
manages human rights. To mitigate such risks, our study underscores the need to
identify and increase the transparency of arbitrariness in content moderation
applications. Since algorithmic content moderation is being fueled by pressing
social concerns, such as disinformation and hate speech, our discussion on
harms raises concerns relevant to policy debates. Our findings also contribute
to content moderation and intermediary liability laws being discussed and
passed in many countries, such as the Digital Services Act in the European
Union, the Online Safety Act in the United Kingdom, and the Fake News Bill in
Brazil.
- Abstract(参考訳): 機械学習(ML)はオンラインコンテンツの適度化に広く利用されている。
人間のモデレーションに対するスケーラビリティにもかかわらず、MLの使用はコンテンツモデレーションに固有の課題をもたらす。
コンテンツ分類のための競合する複数のモデルは、平均的に同じようにうまく機能するが、矛盾する予測を同じコンテンツに割り当てる。
この多重性は、パラメータ初期化のためのランダムシード選択など、モデル開発中の一見無害な選択から生じる可能性がある。
我々は,コンテンツモデレーションツールが任意にサンプルを有毒に分類する方法を実験的に実証し,音声に対する任意の制限を導いた。
これらの知見を,国際公民権条約(ICCPR)が定める人権,表現の自由,非差別,手続き的正義の観点から論じる。
分析して
(i)有毒物の検出に用いられる最先端llmの予測重複度の範囲
(ii)この社会的集団間の任意性の違いによる影響
(iii)モデル重複度と非あいまいな人間分類の比較
以上の結果から,アルゴリズムが人権を不均等に管理するアルゴリズムレビアサンを正当化するアルゴリズムモデレーションリスクが示唆された。
このようなリスクを軽減するため,本研究では,コンテンツモデレーションアプリケーションにおける任意性の透明性を識別し,高める必要性を強調する。
アルゴリズムによるコンテンツモデレーションは、偽情報やヘイトスピーチなどの社会的関心を喚起することで促進されているため、害に関する議論は、政策論争に関連する関心を喚起する。
また,欧州連合のデジタルサービス法,英国のオンライン安全法,ブラジルのフェイクニュース法案など,多くの国で議論・可決されているコンテンツモデレーションおよび仲介責任法にも寄与している。
関連論文リスト
- Content Moderation on Social Media in the EU: Insights From the DSA
Transparency Database [0.0]
デジタルサービス法(DSA)は、EU内の大規模なソーシャルメディアプラットフォームに対して、特定のコンテンツへのアクセスを制限するたびに明確で具体的な情報を提供することを要求する。
Reasons(SoR)のステートメントは、コンテンツモデレーション決定の透明性と精査を保証するために、DSA Transparency Databaseに収集される。
われわれは、EUのソーシャルメディアプラットフォームにおけるコンテンツモデレーション決定を早期に検討するため、2ヶ月の観察期間内に1億5600万のSoRを実証分析した。
論文 参考訳(メタデータ) (2023-12-07T16:56:19Z) - Navigating the Ocean of Biases: Political Bias Attribution in Language
Models via Causal Structures [58.059631072902356]
我々は、LLMの価値観を批判したり、検証したりせず、どのようにして「良い議論」を解釈し、偏見づけるかを見極めることを目的としている。
本研究では,活動依存ネットワーク(ADN)を用いてLCMの暗黙的基準を抽出する。
人-AIアライメントとバイアス緩和について,本研究の結果について考察した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - An Investigation of Representation and Allocation Harms in Contrastive
Learning [55.42336321517228]
比較学習 (CL) は, 少数集団と少数集団の表現を崩壊させる傾向にあることを示す。
本稿では,この現象を表現障害と呼び,対応するCL手法を用いて画像とテキストのデータセットに示す。
対照的な学習環境において,表現の崩壊につながるニューラルブロックモデルを用いて表現障害の理論的説明を行う。
論文 参考訳(メタデータ) (2023-10-02T19:25:37Z) - Compatibility of Fairness Metrics with EU Non-Discrimination Laws:
Demographic Parity & Conditional Demographic Disparity [3.5607241839298878]
実証的な証拠は、機械学習(ML)技術によって駆動されるアルゴリズムによる決定が、法的に保護されたグループに対する差別を脅かしたり、新たな不公平な情報源を創り出すことを示唆している。
この研究は、公正度メトリックと公正度制約による法的公正性を保証するためのポイントを評価することを目的としています。
我々の実験と分析は、手元にあるケースと法的正当性に応じて、AIによる意思決定が法的な観点から公平である可能性を示唆している。
論文 参考訳(メタデータ) (2023-06-14T09:38:05Z) - Bias, diversity, and challenges to fairness in classification and
automated text analysis. From libraries to AI and back [3.9198548406564604]
分類と自動テキスト分析におけるAI利用における偏見と不公平性に関するリスクについて検討する。
我々は「多様性」の概念に関連して「不平等」の概念を詳しく見ていく。
論文 参考訳(メタデータ) (2023-03-07T20:54:49Z) - User-Centered Security in Natural Language Processing [0.7106986689736825]
自然言語処理(NLP)におけるユーザ中心のセキュリティの枠組みの提案
NLP内の2つのセキュリティドメインに重点を置いている。
論文 参考訳(メタデータ) (2023-01-10T22:34:19Z) - Countering Malicious Content Moderation Evasion in Online Social
Networks: Simulation and Detection of Word Camouflage [64.78260098263489]
ツイストとカモフラージュキーワードは、プラットフォームコンテンツモデレーションシステムを回避する最もよく使われるテクニックである。
本稿では,コンテンツ回避の新たな手法をシミュレートし,検出する多言語ツールを開発することにより,悪意ある情報に対する対処に大きく貢献する。
論文 参考訳(メタデータ) (2022-12-27T16:08:49Z) - A Keyword Based Approach to Understanding the Overpenalization of
Marginalized Groups by English Marginal Abuse Models on Twitter [2.9604738405097333]
有害なコンテンツ検出モデルは、疎外されたグループからのコンテンツに対する偽陽性率が高い傾向にある。
テキストベースモデルに関連付けられた潜在的害の重症度を検出・測定するための原則的アプローチを提案する。
提案手法を適用して,Twitterの英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・日本語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語・英語
論文 参考訳(メタデータ) (2022-10-07T20:28:00Z) - Modeling Content Creator Incentives on Algorithm-Curated Platforms [76.53541575455978]
本研究では,アルゴリズムの選択が露出ゲームにおける(ナッシュ)平衡の存在と性格にどのように影響するかを検討する。
本研究では、露出ゲームにおける平衡を数値的に見つけるためのツールを提案し、MovieLensとLastFMデータセットの監査結果を示す。
論文 参考訳(メタデータ) (2022-06-27T08:16:59Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Risk-Constrained Thompson Sampling for CVaR Bandits [82.47796318548306]
CVaR(Conditional Value at Risk)として知られる量的ファイナンスにおける一般的なリスク尺度について考察する。
本稿では,トンプソンサンプリングに基づくCVaR-TSアルゴリズムの性能について検討する。
論文 参考訳(メタデータ) (2020-11-16T15:53:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。