論文の概要: Adversarial Collaborative Filtering for Free
- arxiv url: http://arxiv.org/abs/2308.13541v1
- Date: Sun, 20 Aug 2023 19:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-03 21:45:01.194058
- Title: Adversarial Collaborative Filtering for Free
- Title（参考訳）: 自由な対向協調フィルタリング
- Authors: Huiyuan Chen, Xiaoting Li, Vivian Lai, Chin-Chia Michael Yeh, Yujie
Fan, Yan Zheng, Mahashweta Das, Hao Yang
- Abstract要約: CF(Collaborative Filtering)は、ユーザが関心のある項目を見つけるのに役立つ。
既存の方法はノイズの多いデータ問題に悩まされ、推奨の質に悪影響を及ぼす。
本稿では, 計算コストを犠牲にすることなく, 対向学習を行う簡易かつ効果的な手法として, シャープネス対応協調フィルタリング(CF)を提案する。
- 参考スコア（独自算出の注目度）: 27.949683060138064
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Collaborative Filtering (CF) has been successfully used to help users
discover the items of interest. Nevertheless, existing CF methods suffer from
noisy data issue, which negatively impacts the quality of recommendation. To
tackle this problem, many prior studies leverage adversarial learning to
regularize the representations of users/items, which improves both
generalizability and robustness. Those methods often learn adversarial
perturbations and model parameters under min-max optimization framework.
However, there still have two major drawbacks: 1) Existing methods lack
theoretical guarantees of why adding perturbations improve the model
generalizability and robustness; 2) Solving min-max optimization is
time-consuming. In addition to updating the model parameters, each iteration
requires additional computations to update the perturbations, making them not
scalable for industry-scale datasets.
In this paper, we present Sharpness-aware Collaborative Filtering (SharpCF),
a simple yet effective method that conducts adversarial training without extra
computational cost over the base optimizer. To achieve this goal, we first
revisit the existing adversarial collaborative filtering and discuss its
connection with recent Sharpness-aware Minimization. This analysis shows that
adversarial training actually seeks model parameters that lie in neighborhoods
around the optimal model parameters having uniformly low loss values, resulting
in better generalizability. To reduce the computational overhead, SharpCF
introduces a novel trajectory loss to measure the alignment between current
weights and past weights. Experimental results on real-world datasets
demonstrate that our SharpCF achieves superior performance with almost zero
additional computational cost comparing to adversarial training.
- Abstract（参考訳）: コラボレーティブフィルタリング(cf)は、ユーザが関心のあるアイテムを発見するのに役立つ。
それでも、既存のCFメソッドはノイズの多いデータ問題に悩まされ、リコメンデーションの品質に悪影響を及ぼす。
この問題に対処するために、多くの先行研究では、ユーザ/イテムの表現を正規化するために、敵対学習を活用し、一般化性と堅牢性の両方を改善している。
これらの手法は、しばしば min-max 最適化フレームワークの下で逆摂動とモデルパラメータを学習する。
しかし、大きな欠点は2つある。
1) 既存手法は,摂動付加がモデル一般化性とロバスト性を改善する理由に関する理論的保証を欠いている。
2) min-max最適化の解決には時間を要する。
モデルパラメータの更新に加えて、各イテレーションでは摂動を更新するためにさらなる計算が必要であるため、業界規模のデータセットには拡張性がない。
本稿では,ベースオプティマイザに余分な計算コストを伴わずに対角訓練を行う,単純かつ効果的なSharpness-Aware Collaborative Filtering(SharpCF)を提案する。
この目的を達成するために、我々はまず既存の対向的協調フィルタリングを再考し、最近のシャープネス認識最小化との関係について論じる。
この分析は、敵の訓練が、一様に損失値の低い最適モデルパラメータの近傍にあるモデルパラメータを実際に求めており、結果としてより一般化可能であることを示している。
計算オーバーヘッドを削減するため、sharpcfは現在の重みと過去の重みのアライメントを測定するために新しい軌道損失を導入する。
実世界のデータセットに対する実験結果から, SharpCFは, 対向学習と比較して計算コストをほぼゼロにすることで, 優れた性能を達成できることが示された。
関連論文リスト
- PUMA: margin-based data pruning [51.12154122266251]
モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。
我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。
PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
論文 参考訳（メタデータ） (2024-05-10T08:02:20Z) - Gradient constrained sharpness-aware prompt learning for vision-language
models [99.74832984957025]
本稿では,視覚言語モデル(VLM)の一般化可能な即時学習における新たなトレードオフ問題を提案する。
最先端手法のロスランドスケープとSAMに基づくバニラシャープネス認識最小化法を解析することにより、トレードオフ性能は損失値と損失シャープネスの両方に相関していると結論付けた。
本稿では,GCSCoOp (Gradient Constrained Sharpness-Aware Context Optimization) と表記される,素早い学習のためのSAMベースの新しい手法を提案する。
論文 参考訳（メタデータ） (2023-09-14T17:13:54Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Recommendation Unlearning via Influence Function [42.4931807753579]
本稿では,新しいインフルエンス関数に基づく推薦アンラーニング(IFRU, Recommendation Unlearning)フレームワークを提案する。
IFRUは、フルリトレーニングに匹敵するレコメンデーションパフォーマンスを持つリトレーニングベースの手法と比較して、250倍以上のアクセラレーションを実現している。
論文 参考訳（メタデータ） (2023-07-05T09:42:51Z) - Support Vector Machines with the Hard-Margin Loss: Optimal Training via
Combinatorial Benders' Cuts [8.281391209717105]
我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。
本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-15T18:21:51Z) - RoCourseNet: Distributionally Robust Training of a Prediction Aware
Recourse Model [29.057300578765663]
RoCourseNetは、将来のデータシフトに対して堅牢な予測とリコースを共同で最適化するトレーニングフレームワークである。
RoCourseNetは、ロバストな妥当性を96%以上達成し、ロバストな説明を生成する上で、最先端のベースラインを少なくとも10%上回っていることを示す。
論文 参考訳（メタデータ） (2022-06-01T18:18:18Z) - DualCF: Efficient Model Extraction Attack from Counterfactual
Explanations [57.46134660974256]
クラウドサービスプロバイダがMachine-Learning-as-a-Serviceプラットフォームをローンチした。
このような余分な情報は、必然的にクラウドモデルが、抽出攻撃に対してより脆弱になる。
本稿では,分類モデルを盗むためのクエリ効率を大幅に向上させる,新しい単純で効率的なクエリ手法を提案する。
論文 参考訳（メタデータ） (2022-05-13T08:24:43Z) - Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。
シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。
SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
論文 参考訳（メタデータ） (2020-10-03T19:02:10Z) - Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。
トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
論文 参考訳（メタデータ） (2020-09-29T07:32:30Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。