論文の概要: It is not enough to give your moderation rules to ChatGPT: Policy-as-Prompt Moderation and Its Potential Impacts on Community Governance

• arxiv url: http://arxiv.org/abs/2607.12149v2
• Date: Wed, 15 Jul 2026 19:46:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 14:53:42.211535
• Title: It is not enough to give your moderation rules to ChatGPT: Policy-as-Prompt Moderation and Its Potential Impacts on Community Governance
• Title（参考訳）: ChatGPTにモデレーションルールを与えるのに十分ではない: ポリシー・アズ・プロンプト・モデレーションとそのコミュニティガバナンスへの影響
• Authors: Anna Neumann, Jasmin Wyss, Ivy Turk, Rebekah Overdorf,
• Abstract要約: ソーシャルメディア企業は、よりコミュニティアプローチに注力し、ボランティアに正確な情報を提供し、正しい決定を下すよう頼っている。 分散化されたモデレーションでは、コミュニティは常にボランティア、コミュニティガイドラインの更新、内部の議論に頼ってきた。 両方のコンテンツモデレーションパラダイムにとって、AI(Artificial Intelligence)は、時間、メンタルヘルス、正確性のモデレーションの負担を軽減するのに役立つように思える。 コンテンツモデレーションにおいてAIを運用する方法の1つは、ポリシー・アズ・プロンプトのアプローチであり、ポリシーは自然言語プロンプトとして定式化され、それから大きな言語モデルに渡される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Content moderation practices and governance paradigms are changing rapidly, as fewer human moderators are deployed as `experts' by social media companies in a centralized manner. Instead, the companies are focusing more on community approaches, relying on volunteers to provide accurate information and make correct decisions. In decentralized moderation, communities have always relied on volunteers, updated community guidelines, and internal discussions thereof. For both content moderation paradigms, Artificial Intelligence (AI) seems like it could help ease moderation burdens of time, mental health, and accuracy. One possible way to operationalize AI in content moderation is a `policy-as-prompt'' approach, where the policy is formulated as a natural-language prompt and then passed to a large language model (LLM). This model then aids in moderation tasks. In this paper, we briefly lay out the technical and governance properties of this approach, and argue that its limitations lead to specific risks and harms that have to be addressed. Towards alleviating them, we lay out multiple considerations towards more effective prompt governance, but ultimately find that writing prompts alone is not appropriate for ensuring meaningful community governance.
• Abstract（参考訳）: コンテンツモデレーションの実践とガバナンスのパラダイムは急速に変化しており、ソーシャルメディア企業による「専門家」としての人事モデレーターは少ない。 その代わり、両社はコミュニティのアプローチにもっと注力し、ボランティアに正確な情報を提供し、正しい決定を下すよう頼っている。 分散化されたモデレーションでは、コミュニティは常にボランティア、コミュニティガイドラインの更新、内部の議論に頼ってきた。 両方のコンテンツモデレーションパラダイムにとって、AI(Artificial Intelligence)は、時間、メンタルヘルス、正確性のモデレーションの負担を軽減するのに役立つように思える。 コンテンツモデレーションにおいてAIを運用する方法の1つは'policy-as-prompt'アプローチであり、ポリシーは自然言語プロンプトとして定式化され、それから大きな言語モデル(LLM)に渡される。 このモデルは、モデレーションタスクを支援する。 本稿では,このアプローチの技術的・ガバナンス的性質を簡潔に概説し,その限界が対処すべき特定のリスクや害につながることを論じる。 それらの緩和に向けて、より効果的なプロンプトガバナンスに向けた複数の考察を並べていますが、最終的には、書き込みプロンプトだけでは意味のあるコミュニティガバナンスを保証するには適切ではないことに気付きます。

関連論文リスト

• SocraticPO: Policy Optimization via Interactive Guidance [64.7524628699057]
  大規模言語モデルのための強化学習(RL)は通常、二項正当性のようなスカラー結果の報酬を伴う推論を監督する。 我々は、ソクラティックスタイルの自然言語ガイダンスでRLロールアウトを強化する政策最適化フレームワークであるtextbf SocraticPO(Socratic Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-06-03T09:08:29Z)
• The Gray Area: Characterizing Moderator Disagreement on Reddit [4.508230455103701]
  1対7の調停事件は、調停者の間で争われている。 グレーエリアのケースのほぼ半数は、自動モデレーション決定を伴っていた。 我々は、モデレーションプロセスの監督において、専門家の人間モデレーターが果たす重要な役割を強調します。
  論文  参考訳（メタデータ） (2026-01-04T17:59:33Z)
• Community Moderation and the New Epistemology of Fact Checking on Social Media [124.26693978503339]
  ソーシャルメディアプラットフォームは伝統的に、誤解を招くコンテンツを識別しフラグを立てるために、独立した事実チェック組織に依存してきた。 X(元Twitter)とMetaは、クラウドソースのファクトチェックの独自のバージョンを立ち上げて、コミュニティ主導のコンテンツモデレーションに移行した。 主要なプラットフォーム間での誤情報検出の現在のアプローチについて検討し,コミュニティ主導型モデレーションの新たな役割を探求し,大規模クラウドチェックの約束と課題の両方を批判的に評価する。
  論文  参考訳（メタデータ） (2025-05-26T14:50:18Z)
• SEED-GRPO: Semantic Entropy Enhanced GRPO for Uncertainty-Aware Policy Optimization [57.69385990442078]
  大規模言語モデル(LLM)は、入力プロンプト(クエスト)にまたがる様々なレベルの信頼を示す。 セマンティックエントロピー(Semantic entropy)は、プロンプトが与えられた複数の生成された回答における意味の多様性を測定し、ポリシー更新の規模を変調するためにこれを使用する。
  論文  参考訳（メタデータ） (2025-05-18T10:20:59Z)
• Societal and technological progress as sewing an ever-growing, ever-changing, patchy, and polychrome quilt [44.522343543870804]
  我々は、道徳的多様性の持続性を見落としているようなシステムが、抵抗を引き起こし、信頼を失わせ、制度を不安定化するのではないかと心配している。 理想的な条件下では、合理的なエージェントは単一の倫理上の会話の限界に収束するという考えである。 我々は、この前提をオプション的かつ疑わしいものとみなし、紛争理論、文化進化、マルチエージェントシステム、制度経済学に基づく代替アプローチとして、適切性枠組みと呼ぶものを提案する。
  論文  参考訳（メタデータ） (2025-05-08T12:55:07Z)
• Aligning AI with Public Values: Deliberation and Decision-Making for Governing Multimodal LLMs in Political Video Analysis [48.14390493099495]
  AIモデルが政治的トピックにどう対処すべきかは議論されているが、依然として困難であり、より優れたガバナンスが必要である。 本稿では、政治的に敏感なビデオを中心に、個人的および集団的な議論を通じて、大規模言語モデルのガバナンスについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T03:17:38Z)
• "There Has To Be a Lot That We're Missing": Moderating AI-Generated Content on Reddit [5.202496456440801]
  我々は、AIGCによるオンラインコミュニティモデレーターの経験に焦点を当てる。 我々の研究によると、AIGCに関するルールは、コンテンツ品質、社会的ダイナミクス、ガバナンスの課題に対する懸念によって動機づけられている。 AIGCを検出するための堅牢なツールがないにも関わらず、モデレーターは何らかの障害を抑えることができた。
  論文  参考訳（メタデータ） (2023-11-21T16:15:21Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• PolicyKit: Building Governance in Online Communities [21.20591117254434]
  オンラインコミュニティのメンバに対して,さまざまなガバナンス手順を簡潔に作成するための,ソフトウェアインフラストラクチャであるPolicyKitを紹介します。 我々は,コミュニティガバナンスを政策にエンコードする政治科学理論,あるいはユーザ主導の行動が実行可能であるかどうかを判断するための手順を規定する短い命令関数を描いている。 本稿では,ランダム陪審の審議,多段階のコーパス,評価システム,ウィキペディアのRfAプロセスにインスパイアされたプロモーション手順などのガバナンスモデルの実装を通じて,PolicyKitの表現性を実証する。
  論文  参考訳（メタデータ） (2020-08-10T16:17:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。