論文の概要: Policy-as-Prompt: Rethinking Content Moderation in the Age of Large Language Models

• arxiv url: http://arxiv.org/abs/2502.18695v1
• Date: Tue, 25 Feb 2025 23:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:28.602527
• Title: Policy-as-Prompt: Rethinking Content Moderation in the Age of Large Language Models
• Title（参考訳）: ポリシー・アズ・プロンプト:大規模言語モデルの時代におけるコンテンツモデレーションの再考
• Authors: Konstantina Palla, José Luis Redondo García, Claudia Hauff, Francesco Fabbri, Henrik Lindström, Daniel R. Taber, Andreas Damianou, Mounia Lalmas,
• Abstract要約: 本稿は、新しいポリシー・アズ・プロンプト・フレームワークを定式化し、4つのドメインにまたがる5つの重要な課題を特定する。 デジタルエコシステムにおけるスケーラブルで適応的なコンテンツモデレーションシステムの今後の探索の基盤となる。
• 参考スコア（独自算出の注目度）: 10.549072684871478
• License:
• Abstract: Content moderation plays a critical role in shaping safe and inclusive online environments, balancing platform standards, user expectations, and regulatory frameworks. Traditionally, this process involves operationalising policies into guidelines, which are then used by downstream human moderators for enforcement, or to further annotate datasets for training machine learning moderation models. However, recent advancements in large language models (LLMs) are transforming this landscape. These models can now interpret policies directly as textual inputs, eliminating the need for extensive data curation. This approach offers unprecedented flexibility, as moderation can be dynamically adjusted through natural language interactions. This paradigm shift raises important questions about how policies are operationalised and the implications for content moderation practices. In this paper, we formalise the emerging policy-as-prompt framework and identify five key challenges across four domains: Technical Implementation (1. translating policy to prompts, 2. sensitivity to prompt structure and formatting), Sociotechnical (3. the risk of technological determinism in policy formation), Organisational (4. evolving roles between policy and machine learning teams), and Governance (5. model governance and accountability). Through analysing these challenges across technical, sociotechnical, organisational, and governance dimensions, we discuss potential mitigation approaches. This research provides actionable insights for practitioners and lays the groundwork for future exploration of scalable and adaptive content moderation systems in digital ecosystems.
• Abstract（参考訳）: コンテンツモデレーションは、安全で包括的なオンライン環境、プラットフォーム標準のバランス、ユーザの期待、規制フレームワークを形成する上で重要な役割を果たす。 従来、このプロセスにはガイドラインへのポリシーの運用が含まれており、それを下流の人間モデレーターが実施するために、あるいは機械学習モデレーションモデルをトレーニングするためのデータセットのアノテートに使用する。 しかし、近年の大規模言語モデル(LLM)の進歩は、この状況を変えつつある。 これらのモデルは、ポリシーを直接テキスト入力として解釈することができ、広範なデータキュレーションの必要がなくなる。 このアプローチは、自然言語の相互作用によってモデレーションを動的に調整できるため、前例のない柔軟性を提供する。 このパラダイムシフトは、ポリシーの運用方法や、コンテンツモデレーションプラクティスの影響について重要な疑問を提起する。 本稿では,新しいポリシ・アズ・プロンプトの枠組みを定式化し,技術的実践(1. プロンプトへの政策の翻訳,2. 構造とフォーマッティングの迅速化への感度),社会技術(3. 政策形成における技術的決定主義のリスク),組織(4. 政策と機械学習チーム間の役割の進化),ガバナンス(5. モデルガバナンスと説明責任)という4つの領域にまたがる5つの重要な課題を特定する。 技術的、社会技術的、組織的、ガバナンス的な側面でこれらの課題を分析することで、潜在的な緩和アプローチについて議論する。 本研究は,デジタルエコシステムにおけるスケーラブルで適応的なコンテンツモデレーションシステムの今後の探索の基盤となる実践者に対して,実用的な洞察を提供する。

関連論文リスト

• Neural DNF-MT: A Neuro-symbolic Approach for Learning Interpretable and Editable Policies [51.03989561425833]
  本稿では、エンドツーエンドポリシー学習のためのニューラルDNF-MTと呼ばれるニューラルシンボリックアプローチを提案する。 ニューラルDNF-MTモデルの微分可能な性質は、訓練にディープアクター批判アルゴリズムを使用することを可能にする。 決定論的ポリシーの2値表現をどのように編集し、ニューラルモデルに組み込むかを示す。
  論文  参考訳（メタデータ） (2025-01-07T15:51:49Z)
• Machine Unlearning Doesn't Do What You Think: Lessons for Generative AI Policy, Research, and Practice [186.055899073629]
  非学習はしばしば、生成AIモデルからターゲット情報の影響を取り除くソリューションとして呼び出される。 未学習はまた、モデルが出力中にターゲットとなるタイプの情報を生成するのを防ぐ方法として提案されている。 これら2つの目標 - モデルからの情報の標的的除去と、モデル出力からの情報のターゲット的抑制 - は、様々な技術的および現実的な課題を表す。
  論文  参考訳（メタデータ） (2024-12-09T20:18:43Z)
• Political-LLM: Large Language Models in Political Science [159.95299889946637]
  大規模言語モデル(LLM)は、政治科学のタスクで広く採用されている。 政治LLMは、LLMを計算政治科学に統合する包括的な理解を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-09T08:47:50Z)
• The Unappreciated Role of Intent in Algorithmic Moderation of Social Media Content [2.2618341648062477]
  本稿では,コンテンツモデレーションシステムにおける意図の役割について考察する。 本研究は,意識と意図を捉える能力を評価するために,オンライン虐待に対するアート検出モデルとベンチマークトレーニングデータセットの現状をレビューする。
  論文  参考訳（メタデータ） (2024-05-17T18:05:13Z)
• Fortifying Ethical Boundaries in AI: Advanced Strategies for Enhancing Security in Large Language Models [3.9490749767170636]
  大規模言語モデル(LLM)は、テキスト生成、翻訳、質問応答タスクに革命をもたらした。 広く使われているにもかかわらず、LLMはモデルに不適切な反応を強いられる場合の倫理的ジレンマのような課題を提示している。 本稿では,1)ユーザ入力からセンシティブな語彙をフィルタリングして非倫理的応答を防ぐ,2)"プライソンブレイク"シナリオにつながる可能性のあるインタラクションを停止するロールプレイングを検出する,4)マルチモデル大規模言語モデル(MLLM)のような様々なLLM派生語に拡張する,という課題に対処する。
  論文  参考訳（メタデータ） (2024-01-27T08:09:33Z)
• Combatting Human Trafficking in the Cyberspace: A Natural Language Processing-Based Methodology to Analyze the Language in Online Advertisements [55.2480439325792]
  このプロジェクトは、高度自然言語処理(NLP)技術により、オンラインC2Cマーケットプレースにおける人身売買の急激な問題に取り組む。 我々は、最小限の監督で擬似ラベル付きデータセットを生成する新しい手法を導入し、最先端のNLPモデルをトレーニングするための豊富なリソースとして機能する。 重要な貢献は、Integrated Gradientsを使った解釈可能性フレームワークの実装であり、法執行にとって重要な説明可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-22T02:45:01Z)
• Context-Aware Composition of Agent Policies by Markov Decision Process Entity Embeddings and Agent Ensembles [1.124711723767572]
  計算エージェントは生命の多くの領域で人間をサポートし、従って異質な文脈で見られる。 サービスを実行し、目標志向の行動を実行するためには、エージェントは事前の知識を必要とする。 異種コンテキストの表現を可能にする新しいシミュレーションベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-28T12:13:36Z)
• Residual Q-Learning: Offline and Online Policy Customization without Value [53.47311900133564]
  イミテーション・ラーニング(Imitation Learning, IL)は、実演から模倣行動を学ぶためのフレームワークである。 政策カスタマイズと呼ばれる新しい問題設定を定式化する。 本稿では,従来の政策を活かして定式化MDPを解くための新しいフレームワークであるResidual Q-learningを提案する。
  論文  参考訳（メタデータ） (2023-06-15T22:01:19Z)
• Interpretable Reinforcement Learning via Neural Additive Models for Inventory Management [3.714118205123092]
  我々は、多段階、すなわちサプライチェーンのための動的在庫発注ポリシーの開発に注力する。 従来の在庫最適化手法は、静的リオーダーポリシーを決定することを目的としている。 本稿では,従来の静的ポリシーと同程度に解釈可能な強化学習手法を提案する。
  論文  参考訳（メタデータ） (2023-03-18T10:13:32Z)
• Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients [54.98496284653234]
  報酬を最大化しつつ、行動を通じて特定の機密状態変数の開示を最小限に抑えながら、報酬を最大化する政策を訓練する課題を考察する。 本稿では, 感性状態と行動の相互情報に基づく正則化器を導入することで, この問題を解決する。 プライバシ制約のあるポリシーを最適化するためのモデルベース推定器を開発した。
  論文  参考訳（メタデータ） (2020-12-30T03:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。