論文の概要: Causal Distillation for Alleviating Performance Heterogeneity in Recommender Systems

• arxiv url: http://arxiv.org/abs/2405.20626v1
• Date: Fri, 31 May 2024 05:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 23:05:23.146820
• Title: Causal Distillation for Alleviating Performance Heterogeneity in Recommender Systems
• Title（参考訳）: リコメンダシステムの性能不均一性を軽減するための因果蒸留法
• Authors: Shengyu Zhang, Ziqi Jiang, Jiangchao Yao, Fuli Feng, Kun Kuang, Zhou Zhao, Shuo Li, Hongxia Yang, Tat-Seng Chua, Fei Wu,
• Abstract要約: 歴史的相互作用の不均一な分布とレコメンダモデルのバイアス付きトレーニングを示す。 デバイアスドトレーニングの鍵は、ユーザの過去の行動と次の行動の両方に影響を与える共同創設者の影響を取り除くことである。 本稿では,非保守的共同設立者に対応するために,因果多教師蒸留フレームワーク(CausalD)を提案する。
• 参考スコア（独自算出の注目度）: 142.3424649008479
• License:
• Abstract: Recommendation performance usually exhibits a long-tail distribution over users -- a small portion of head users enjoy much more accurate recommendation services than the others. We reveal two sources of this performance heterogeneity problem: the uneven distribution of historical interactions (a natural source); and the biased training of recommender models (a model source). As addressing this problem cannot sacrifice the overall performance, a wise choice is to eliminate the model bias while maintaining the natural heterogeneity. The key to debiased training lies in eliminating the effect of confounders that influence both the user's historical behaviors and the next behavior. The emerging causal recommendation methods achieve this by modeling the causal effect between user behaviors, however potentially neglect unobserved confounders (\eg, friend suggestions) that are hard to measure in practice. To address unobserved confounders, we resort to the front-door adjustment (FDA) in causal theory and propose a causal multi-teacher distillation framework (CausalD). FDA requires proper mediators in order to estimate the causal effects of historical behaviors on the next behavior. To achieve this, we equip CausalD with multiple heterogeneous recommendation models to model the mediator distribution. Then, the causal effect estimated by FDA is the expectation of recommendation prediction over the mediator distribution and the prior distribution of historical behaviors, which is technically achieved by multi-teacher ensemble. To pursue efficient inference, CausalD further distills multiple teachers into one student model to directly infer the causal effect for making recommendations.
• Abstract（参考訳）: レコメンデーションのパフォーマンスは、通常、ユーザに対して長い間隔で配信される -- ヘッドユーザーのごく一部は他のユーザよりもはるかに正確なレコメンデーションサービスを楽しむことができる。 本研究では, 歴史的相互作用の不均一な分布(天然資源)と, 推薦モデル(モデル源)の偏りのある学習という, この性能の不均一性問題の原因を明らかにする。 この問題に対処することは全体的なパフォーマンスを犠牲にすることはできないため、自然な不均一性を維持しながらモデルバイアスを取り除くのが賢明な選択である。 デバイアスドトレーニングの鍵は、ユーザの過去の行動と次の行動の両方に影響を与える共同創設者の影響を取り除くことである。 新たな因果レコメンデーション手法は、ユーザ行動間の因果効果をモデル化することによって実現されるが、実際には測定が難しい未観測の共同設立者(\eg, friend suggestions)を無視する可能性がある。 保存されていない共同創設者に対処するために、私たちは、因果理論におけるフロントドア調整(FDA)を活用し、因果多教師蒸留フレームワーク(CausalD)を提案する。 FDAは、次の行動に対する歴史的な行動の因果効果を推定するために、適切なメディエーターを必要としている。 これを実現するために、媒体分布をモデル化するために、CausalDに複数のヘテロジニアスなレコメンデーションモデルを設ける。 そして、FDAが推定する因果効果は、マルチ教師のアンサンブルによって技術的に達成される、メディエーター分布と過去の行動の事前分布に対する推奨予測を期待することである。 効率的な推論を追求するため、CausalDは複数の教師を1つの学生モデルに蒸留し、推薦を行うための因果効果を直接推測する。

関連論文リスト

• Be Aware of the Neighborhood Effect: Modeling Selection Bias under Interference [50.95521705711802]
  従来の研究では、予測モデルの偏りのない学習を実現するために、選択バイアスに対処することに注力してきた。 本稿では、因果推論の観点から、近隣効果を干渉問題として公式に定式化する。 本稿では,近隣効果の存在下で選択バイアスに対処できる新しい理想的損失を提案する。
  論文  参考訳（メタデータ） (2024-04-30T15:20:41Z)
• Improve Knowledge Distillation via Label Revision and Data Selection [37.74822443555646]
  本稿では,教師の不正確な予測を基礎的真理を用いて修正することを提案する。 後者では,教師が指導する適切なトレーニングサンプルを選択するためのデータ選択手法を提案する。 実験の結果,提案手法の有効性を実証し,他の蒸留法と組み合わせることができることを示した。
  論文  参考訳（メタデータ） (2024-04-03T02:41:16Z)
• Improving Bias Mitigation through Bias Experts in Natural Language Understanding [10.363406065066538]
  補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。 提案手法は補助モデルのバイアス識別能力を向上させる。
  論文  参考訳（メタデータ） (2023-12-06T16:15:00Z)
• Guide the Learner: Controlling Product of Experts Debiasing Method Based on Token Attribution Similarities [17.082695183953486]
  一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。 ここでは、バイアスドモデルが機能をショートカットする、という前提がある。 本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
  論文  参考訳（メタデータ） (2023-02-06T15:21:41Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Cross Pairwise Ranking for Unbiased Item Recommendation [57.71258289870123]
  我々はCPR(Cross Pairwise Ranking)という新しい学習パラダイムを開発する。 CPRは、露出メカニズムを知らずに不偏の推奨を達成する。 理論的には、この方法が学習に対するユーザ/イテムの適合性の影響を相殺することを証明する。
  論文  参考訳（メタデータ） (2022-04-26T09:20:27Z)
• Deep Causal Reasoning for Recommendations [47.83224399498504]
  推薦システム研究の新たなトレンドは、共同創設者の影響を因果的観点から否定することである。 提案手法は多因性マルチアウトカム(MCMO)推論問題としてモデル化する。 MCMOモデリングは,高次元因果空間に付随する観測が不十分なため,高いばらつきをもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2022-01-06T15:00:01Z)
• Probabilistic and Variational Recommendation Denoising [56.879165033014026]
  暗黙のフィードバックから学ぶことは、推奨システムの適用において最も一般的なケースの1つである。 本稿では,暗黙のフィードバックに対する確率的・変動的推薦を提案する。 提案したDPIとDVAEを4つの最先端レコメンデーションモデルに適用し、3つのデータセットで実験を行う。
  論文  参考訳（メタデータ） (2021-05-20T08:59:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。