論文の概要: C2AL: Cohort-Contrastive Auxiliary Learning for Large-scale Recommendation Systems
- arxiv url: http://arxiv.org/abs/2510.02215v1
- Date: Thu, 02 Oct 2025 17:00:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-03 16:59:21.235193
- Title: C2AL: Cohort-Contrastive Auxiliary Learning for Large-scale Recommendation Systems
- Title（参考訳）: C2AL:大規模推薦システムのためのコホートコントラスト補助学習
- Authors: Mertcan Cokbas, Ziteng Liu, Zeyi Tao, Chengkai Zhang, Elder Veliz, Qin Huang, Ellie Wen, Huayu Li, Qiang Jin, Murat Duman, Benjamin Au, Guy Lebanon, Sagar Chordia,
- Abstract要約: 共有埋め込み選択のための因子化機械において,注意機構が重要な役割を担っていることを示す。
本稿では、データセットのサブ構造を分析し、補助学習を通して強力な分布コントラストを持つ構造を明らかにすることで、この問題に対処することを提案する。
このアプローチは、注目層の学習プロセスをカスタマイズし、少数派コホートとの相互情報を保護し、グローバルなパフォーマンスを向上させる。
- 参考スコア（独自算出の注目度）: 7.548682352355036
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Training large-scale recommendation models under a single global objective implicitly assumes homogeneity across user populations. However, real-world data are composites of heterogeneous cohorts with distinct conditional distributions. As models increase in scale and complexity and as more data is used for training, they become dominated by central distribution patterns, neglecting head and tail regions. This imbalance limits the model's learning ability and can result in inactive attention weights or dead neurons. In this paper, we reveal how the attention mechanism can play a key role in factorization machines for shared embedding selection, and propose to address this challenge by analyzing the substructures in the dataset and exposing those with strong distributional contrast through auxiliary learning. Unlike previous research, which heuristically applies weighted labels or multi-task heads to mitigate such biases, we leverage partially conflicting auxiliary labels to regularize the shared representation. This approach customizes the learning process of attention layers to preserve mutual information with minority cohorts while improving global performance. We evaluated C2AL on massive production datasets with billions of data points each for six SOTA models. Experiments show that the factorization machine is able to capture fine-grained user-ad interactions using the proposed method, achieving up to a 0.16% reduction in normalized entropy overall and delivering gains exceeding 0.30% on targeted minority cohorts.
- Abstract（参考訳）: 単一のグローバルな目的の下で大規模レコメンデーションモデルをトレーニングすることは、ユーザ集団間で均質性を暗黙的に仮定する。
しかし、実世界のデータは異なる条件分布を持つ異種コホートの合成である。
モデルがスケールと複雑さを増し、トレーニングにより多くのデータが使用されるようになると、それらは中央分布パターンに支配され、頭と尾の領域は無視される。
この不均衡はモデルの学習能力を制限し、不活性な注意重みや死んだ神経細胞をもたらす可能性がある。
本稿では, 組込み選択のための因子化機械において, 注意機構が重要な役割を担っていることを明らかにするとともに, データセットのサブ構造を分析し, 補助学習を通じて, 強い分布コントラストを露呈することで, この問題に対処することを提案する。
このようなバイアスを軽減するために重み付きラベルやマルチタスクヘッドをヒューリスティックに応用した以前の研究とは異なり、共有表現を規則化するために部分的に矛盾する補助ラベルを利用する。
このアプローチは、注目層の学習プロセスをカスタマイズし、少数派コホートとの相互情報を保護し、グローバルなパフォーマンスを向上する。
我々は,6つのSOTAモデルに対して,数十億のデータポイントを持つ大規模生産データセット上でC2ALを評価した。
実験により,提案手法を用いることで,最大0.16%の正規化エントロピー削減を実現し,ターゲットとするマイノリティコホートに対して0.30%以上のゲインを達成できることがわかった。
関連論文リスト
- Enhancing Federated Learning Through Secure Cluster-Weighted Client Aggregation [4.869042695112397]
フェデレーテッド・ラーニング(FL)は機械学習において有望なパラダイムとして登場した。
FLでは、各デバイスにまたがるローカルデータセットに基づいて、グローバルモデルを反復的にトレーニングする。
本稿では、クライアント更新に重みを動的に割り当てるために、相似性スコア、k平均クラスタリング、和解信頼スコアを利用する新しいFLフレームワーク、ClusterGuardFLを紹介する。
論文 参考訳（メタデータ） (2025-03-29T04:29:24Z) - Hybrid-Regularized Magnitude Pruning for Robust Federated Learning under Covariate Shift [2.298932494750101]
クライアント側トレーニング分布の不整合がフェデレート学習モデルの性能を著しく低下させることを示す。
本稿では,ニューラルネットワークの疎結合性,冗長性,堅牢性を改善するために,フラニングとクライアントトレーニングの正規化を組み合わせた新しいFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-19T16:22:37Z) - Reducing Spurious Correlation for Federated Domain Generalization [15.864230656989854]
オープンワールドのシナリオでは、グローバルモデルは特定のメディアによってキャプチャされた全く新しいドメインデータをうまく予測するのに苦労する可能性がある。
既存の手法はまだこの問題に対処するために、サンプルとラベルの間の強い統計的相関に頼っている。
ローカルレベルとグローバルレベルでの全体的な最適化フレームワークであるFedCDを紹介します。
論文 参考訳（メタデータ） (2024-07-27T05:06:31Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳（メタデータ） (2023-08-28T18:48:34Z) - Evaluating and Incentivizing Diverse Data Contributions in Collaborative
Learning [89.21177894013225]
フェデレートされた学習モデルがうまく機能するためには、多様で代表的なデータセットを持つことが不可欠である。
データの多様性を定量化するために用いられる統計的基準と、使用するフェデレート学習アルゴリズムの選択が、結果の平衡に有意な影響を及ぼすことを示す。
我々はこれを活用して、データ収集者がグローバルな人口を代表するデータに貢献することを奨励する、シンプルな最適なフェデレーション学習機構を設計する。
論文 参考訳（メタデータ） (2023-06-08T23:38:25Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - Auxo: Efficient Federated Learning via Scalable Client Clustering [22.323057948281644]
フェデレートラーニング(FL)は、論理的に集中したサーバに生データを公開せずに、エッジデバイスが協調的にMLモデルをトレーニングすることを可能にする。
統計的に類似したデータ分布(コホート)を持つクライアントを,大規模・低可用性・資源制約のFL群で段階的に識別するAuxoを提案する。
Auxoは最終的な精度(2.1% - 8.2%)、収束時間(2.2倍)、モデルバイアス(4.8% - 53.8%)の点で、様々な既存のFLソリューションを強化している。
論文 参考訳（メタデータ） (2022-10-29T17:36:51Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Cohort Bias Adaptation in Aggregated Datasets for Lesion Segmentation [0.8466401378239363]
マルチソースデータセット間でコホートバイアスを学習し,考慮するための一般化されたアフィン条件付けフレームワークを提案する。
我々は,コホートバイアス適応法により,プールしたデータセット上でのネットワークの性能が向上することを示す。
論文 参考訳（メタデータ） (2021-08-02T08:32:57Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。