論文の概要: Measuring, Revealing and Mitigating Harmful Content Propagation in Recommender Systems
- arxiv url: http://arxiv.org/abs/2611.15160v1
- Date: Wed, 11 Nov 2026 07:57:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.07904
- Title: Measuring, Revealing and Mitigating Harmful Content Propagation in Recommender Systems
- Title(参考訳): レコメンダシステムにおける有害コンテンツ伝播の測定・探索・緩和
- Abstract要約: 我々は,3つの側面から,レコメンデータシステムにおける有害コンテンツの調査に向けて,体系的な一歩を踏み出した。
まず,有害性関連アノテーションを用いたデータセットの構築と,推薦結果の有害度を定量的に測定するための新しい評価指標を提案する。
第2に, 利用者は有害なコンテンツに関わりやすい傾向にあり, 推奨手法が普及に寄与することが多いことを実証分析により明らかにした。
第三に、この問題に対処するため、アイテムおよびユーザ表現学習の両方に有害な関連信号を統合する汎用フレームワーク、MitiHarmを導入する。
- 参考スコア(独自算出の注目度): 64.05340976373851
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recommender systems help users navigate vast amounts of information by filtering content according to their historical behaviors. As these systems increasingly shape everyday information access, they largely determine the content users are exposed to. However, current research typically prioritizes catering to user interest, while overlooking the existence and propagation of harmful content, such as violence, hate speech, and pornography. In this work, we take a systematic step toward investigating harmful content in recommender systems from three aspects: measuring, revealing, and mitigating. First, we construct datasets with harmfulness-related annotations and present new evaluation metrics to quantitatively measure the harmfulness of recommendation results. Second, our empirical analysis reveals that users tend to engage with harmful content and prevailing recommendation methods often contribute to the proliferation of such content. Third, to address this issue, we introduce a generic framework, MitiHarm, which integrates harmfulness-related signals into both item and user representation learning. Experiments show that MitiHarm can significantly mitigate the propagation of harmful content while preserving user satisfaction. Resources of this work are available at https://github.com/Zhang-xiaokun/MitiHarm.
- Abstract(参考訳): レコメンダシステムは、ユーザーが過去の行動に応じてコンテンツをフィルタリングすることで、膨大な量の情報をナビゲートするのに役立つ。
これらのシステムは日常的な情報アクセスをますます形作っているので、ユーザーが露出しているコンテンツはおおむね決定する。
しかしながら、現在の研究は、暴力、ヘイトスピーチ、ポルノグラフィといった有害なコンテンツの存在と伝播を見越しながら、ユーザーの興味に注意を向けることが典型的である。
本研究は, 推奨システムにおける有害なコンテンツを, 測定, 暴露, 緩和の3つの側面から調査するための体系的な一歩を踏み出した。
まず,有害性関連アノテーションを用いたデータセットの構築と,推奨結果の有害度を定量的に測定するための新しい評価指標を提案する。
第2に, 利用者は有害なコンテンツに関わりやすい傾向にあり, 推奨手法が普及に寄与することが多いことを実証分析により明らかにした。
第三に、この問題に対処するため、アイテムおよびユーザ表現学習の両方に有害な関連信号を統合する汎用フレームワーク、MitiHarmを導入する。
実験の結果,MitiHarmはユーザ満足度を維持しながら有害なコンテンツの伝播を著しく軽減できることがわかった。
この作業のリソースはhttps://github.com/Zhang-xiaokun/MitiHarm.comで公開されている。
関連論文リスト
- When Does a Recommendation Spark Curiosity? Theory, Measurement, and Field Evidence [54.2484458418885]
好奇心は、自分が知っているものと知りたいものの間のギャップを埋める原動力である。
その重要性にもかかわらず、キュリオシティは形式的な尺度が欠如しているため、現代のレコメンデータシステムにはほとんど組み込まれていない。
我々は,この尺度を実用関数設計に組み込んだ好奇性を考慮したレコメンデーションシステムを構築した。
論文 参考訳(メタデータ) (2026-11-11T02:39:23Z) - Datasets for Navigating Sensitive Topics in Recommendation Systems [9.380485956902588]
感性ラベルの分類とユーザコンテンツ評価を含む2つの新しいデータセットを導入する。
MovieLensの評価データとDod the Dog Dieのコンテンツ警告を統合している。
もう1つは、ファン-フィクションのインタラクションデータとユーザー生成警告を、Archive of Our Ownから組み合わせたものです。
論文 参考訳(メタデータ) (2025-09-08T22:58:17Z) - You Don't Bring Me Flowers: Mitigating Unwanted Recommendations Through Conformal Risk Control [17.919072158085754]
本稿では、共形リスク制御を用いて、パーソナライズされたレコメンデーションにおいて、不必要なコンテンツを確実に拘束する直感的で、モデルに依存しない、かつ、配布不要な手法を提案する。
当社のアプローチは、最小限の努力で、効果的かつ制御可能な推奨事項の削減を保証します。
論文 参考訳(メタデータ) (2025-07-09T21:27:35Z) - Illusions of Relevance: Using Content Injection Attacks to Deceive Retrievers, Rerankers, and LLM Judges [52.96987928118327]
検索,リランカー,大型言語モデル(LLM)の埋め込みモデルは,コンテンツインジェクション攻撃に対して脆弱であることがわかった。
主な脅威は,(1) 意味不明な内容や有害な内容の挿入,(2) 関連性を高めるために,問合せ全体あるいはキークエリ用語の挿入,の2つである。
本研究は, 注射内容の配置や関連物質と非関連物質とのバランスなど, 攻撃の成功に影響を与える要因を系統的に検討した。
論文 参考訳(メタデータ) (2025-01-30T18:02:15Z) - Exploring the Escalation of Source Bias in User, Data, and Recommender System Feedback Loop [65.23044868332693]
我々は,AIGC(AIGC)がレコメンダシステムの性能と力学に与える影響について検討する。
短期的には、AIGCに対する偏見はLLMベースのコンテンツ作成を促進し、AIGCコンテンツを増大させ、不公平なトラフィック分散を引き起こす。
長期コンテンツエコシステムのバランスを維持するため,L1-loss最適化に基づくデバイアス化手法を提案する。
論文 参考訳(メタデータ) (2024-05-28T09:34:50Z) - Measuring Strategization in Recommendation: Users Adapt Their Behavior to Shape Future Content [66.71102704873185]
実験と調査を行うことで,ユーザストラテジゼーションの試行を行う。
参加者の居住時間や「いいね!」の使用など,結果指標間での戦略化の強い証拠を見出す。
この結果から,プラットフォームはアルゴリズムがユーザの行動に与える影響を無視できないことが示唆された。
論文 参考訳(メタデータ) (2024-05-09T07:36:08Z) - Robust Recommender System: A Survey and Future Directions [58.87305602959857]
まず,悪質な攻撃や自然騒音に耐える現在の手法を整理するための分類法を提案する。
次に、不正検出、敵の訓練、悪意のある攻撃から守るための確実な堅牢な訓練など、各カテゴリにおける最先端の手法を検討する。
さまざまなレコメンデーションシナリオの堅牢性や,正確性や解釈可能性,プライバシ,公正性といった他の特性との相互作用について論じる。
論文 参考訳(メタデータ) (2023-09-05T08:58:46Z) - PIE: Personalized Interest Exploration for Large-Scale Recommender
Systems [0.0]
これらの課題に対処するために,大規模レコメンデータシステムにおける探索のためのフレームワークを提案する。
我々の方法論は、最小限の修正で既存の大規模レコメンデータシステムに容易に統合できる。
私たちの仕事は、何十億ものユーザーを対象とする人気のビデオ発見および共有プラットフォームであるFacebook Watchで運用されている。
論文 参考訳(メタデータ) (2023-04-13T22:25:09Z) - The Amplification Paradox in Recommender Systems [12.723777984461693]
シミュレーションを通して、レコメンデータシステムの協調フィルタリングの性質と極度のコンテンツのニッチさが明らかにパラドックスを解消できることを示す。
提案手法は,「アルゴリズム増幅の微妙な解釈」であり,レコメンデータシステムの監査において,利用者にコンテンツの有用性をモデル化することの重要性を強調したものである。
論文 参考訳(メタデータ) (2023-02-22T09:12:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。