論文の概要: How Human Feedback Shapes AI-generated Community Notes
- arxiv url: http://arxiv.org/abs/2606.30905v1
- Date: Mon, 29 Jun 2026 20:55:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.000786
- Title: How Human Feedback Shapes AI-generated Community Notes
- Title（参考訳）: 人間のフィードバックがAI生成コミュニティノートを形作る方法
- Abstract要約: 我々は、19,146の協調メモと211,850件の人間のフィードバックの完全なコーパスを分析した。
共同メモは人間のフィードバックによって改善されるが、人間のみのノートやAIのみのノートよりも低いレートで役に立つ状態に達する。
- 参考スコア（独自算出の注目度）: 8.323645797887352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Community Notes, a bridging-based crowd-sourced fact-checking system, has emerged as a new mechanism for moderating misleading information on social media and has been adopted by major platforms including X, Facebook, Instagram, Threads, and TikTok. Since its introduction, there has been an open question about what role AI could play in scaling and optimizing the system. Recently, X extended its Community Notes system by introducing Collaborative Notes: notes initially drafted by an LLM and iteratively refined based on feedback from human contributors. In this work, we systematically analyze the complete corpus of 19,146 collaborative notes and 211,850 instances of human feedback. First, we develop a taxonomy of human suggestions for improving AI-generated note drafts and find that suggestions involving factual corrections and additional context are most likely to be incorporated, while subjective policy judgments rarely are. Second, we examine changes in helpfulness across versions of collaborative notes and find that human feedback leads to more helpful notes, with the greatest impact coming from suggestions that challenge the main claim in the previous draft, particularly when submitted by more active contributors. Finally, we find that although collaborative notes improve through human feedback, they reach helpful status and are shown on the platform at lower rates than human-only or AI-only notes, with limited human participation emerging as a key bottleneck. Nevertheless, rather than serving as a weaker substitute, collaborative notes tend to play a complementary role, predominantly targeting posts that do not attract human-only or AI-only notes. Our analysis provides an initial description of efforts to use AI to improve crowdsourced content moderation in a real-world moderation system and outlines pathways for future improvements to such features.
- Abstract（参考訳）: ブリッジングベースのクラウドソースの事実チェックシステムであるCommunity Notesは、ソーシャルメディア上の誤解を招く情報をモデレートする新しいメカニズムとして登場し、X、Facebook、Instagram、Threads、TikTokといった主要プラットフォームで採用されている。
導入以来、システムのスケーリングと最適化においてAIが果たす役割には、オープンな疑問がある。
最近、X は共同ノートを導入してコミュニティノートシステムを拡張した: 最初は LLM が起草し、人間コントリビュータからのフィードバックに基づいて反復的に改良されたノート。
本研究では,19,146のコラボレーティブノートと211,850件の人的フィードバックの完全なコーパスを体系的に分析する。
まず、AI生成ノートの草案を改善するための人間の提案の分類法を開発し、事実修正や追加の文脈を含む提案が組み込まれる可能性が最も高いのに対して、主観的な政策判断はめったにない。
第2に、共同ノートのバージョン間の有用性の変化を調べ、人間からのフィードバックがより有益なメモにつながることを発見し、特によりアクティブなコントリビュータによって提出された場合、前回のドラフトで主要な主張に異議を唱える提案から最も大きな影響がもたらされる。
最後に、協調的なメモは人間のフィードバックによって改善されるが、有効なステータスに達し、人間のみまたはAIのみのメモよりも低いレートでプラットフォーム上に表示される。
それでも、より弱い代用品として機能するのではなく、協力的ノートは補完的な役割を担い、主に人間のみやAIのみのメモを惹きつけないポストをターゲットにしている。
我々の分析は、現実世界のモデレーションシステムにおいて、クラウドソースによるコンテンツモデレーションを改善するためにAIを使用する取り組みについての最初の説明を提供し、今後の機能改善の道筋を概説する。
関連論文リスト
- Towards Automated Community Notes Generation with Large Vision Language Models for Combating Contextual Deception [8.79051023144961]
画像に基づく文脈偽造に対するコミュニティノートの自動生成手法について検討する。
主に偽造検出に焦点を当てた以前の作業とは異なり、Community Notesスタイルのシステムは簡潔で接地的なメモを生成する必要がある。
大規模な視覚言語モデル上に構築された検索拡張型マルチエージェント協調フレームワークであるACCNoteを提案する。
論文 参考訳（メタデータ） (2026-03-23T18:21:23Z) - APRES: An Agentic Paper Revision and Evaluation System [44.44345338738518]
科学者が自身の仕事を伝え、コミュニティからフィードバックを受け取るための第一の方法は、ピアレビューである。
本稿では,Large Language Models (LLMs) を利用した新しいAPRES手法を提案する。
提案手法は,将来的な引用数を高い精度で予測できるルーリックを発見し,APRESと統合して論文を改訂し,その品質と影響を高める。
論文 参考訳（メタデータ） (2026-03-03T16:29:13Z) - AI Feedback Enhances Community-Based Content Moderation through Engagement with Counterarguments [0.0]
本研究は,AIを用いたハイブリット・モデレーション・フレームワークについて検討した。
その結果,フィードバックを取り入れることで音質が向上することがわかった。
この研究は、政治コンテンツモデレーションにおけるAIの役割に関する継続的な議論に寄与している。
論文 参考訳（メタデータ） (2025-07-10T18:52:50Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
論文 参考訳（メタデータ） (2025-03-13T11:22:12Z) - Contextual bandits with entropy-based human feedback [8.94067320035758]
本研究では,エントロピーに基づく文脈的盗聴のためのフィードバック・フレームワークを提案する。
提案手法は,人間からのフィードバックを最小限に抑えながら,大幅な性能向上を実現する。
この研究は、人間の指導を機械学習システムに組み込むことの堅牢性と有効性を強調している。
論文 参考訳（メタデータ） (2025-02-12T20:03:56Z) - Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。
粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。
きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
論文 参考訳（メタデータ） (2024-06-24T17:19:34Z) - Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。
具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。
最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
論文 参考訳（メタデータ） (2024-06-17T03:51:46Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。