論文の概要: AutoLossGen: Automatic Loss Function Generation for Recommender Systems
- arxiv url: http://arxiv.org/abs/2204.13160v1
- Date: Wed, 27 Apr 2022 19:49:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 13:17:31.683205
- Title: AutoLossGen: Automatic Loss Function Generation for Recommender Systems
- Title（参考訳）: AutoLossGen:Recommenderシステムのための自動損失関数生成
- Authors: Zelong Li, Jianchao Ji, Yingqiang Ge, Yongfeng Zhang
- Abstract要約: 推薦システムでは、良い損失がモデル性能を大幅に改善する可能性があるため、損失関数の選択が重要である。
以前の研究の大部分は、重要な専門知識と人的努力を必要とする手作りの損失関数に焦点を当てていた。
本稿では,基本数学的演算子から直接構築された損失関数を生成する自動損失関数生成フレームワークAutoLossGenを提案する。
- 参考スコア（独自算出の注目度）: 40.21831408797939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recommendation systems, the choice of loss function is critical since a
good loss may significantly improve the model performance. However, manually
designing a good loss is a big challenge due to the complexity of the problem.
A large fraction of previous work focuses on handcrafted loss functions, which
needs significant expertise and human effort. In this paper, inspired by the
recent development of automated machine learning, we propose an automatic loss
function generation framework, AutoLossGen, which is able to generate loss
functions directly constructed from basic mathematical operators without prior
knowledge on loss structure. More specifically, we develop a controller model
driven by reinforcement learning to generate loss functions, and develop
iterative and alternating optimization schedule to update the parameters of
both the controller model and the recommender model. One challenge for
automatic loss generation in recommender systems is the extreme sparsity of
recommendation datasets, which leads to the sparse reward problem for loss
generation and search. To solve the problem, we further develop a reward
filtering mechanism for efficient and effective loss generation. Experimental
results show that our framework manages to create tailored loss functions for
different recommendation models and datasets, and the generated loss gives
better recommendation performance than commonly used baseline losses. Besides,
most of the generated losses are transferable, i.e., the loss generated based
on one model and dataset also works well for another model or dataset. Source
code of the work is available at https://github.com/rutgerswiselab/AutoLossGen.
- Abstract（参考訳）: レコメンデーションシステムでは、良い損失がモデル性能を大幅に改善する可能性があるため、損失関数の選択が重要である。
しかし、問題の複雑さのため、手動でよい損失を設計することは大きな課題です。
以前の仕事の大部分は、重要な専門知識と人的努力を必要とする手作りの損失機能に焦点を当てていた。
本稿では,機械学習の最近の発展に触発されて,自動損失関数生成フレームワークであるautolossgenを提案する。
具体的には、強化学習を駆使して損失関数を生成するコントローラモデルを開発し、反復的かつ反復的な最適化スケジュールを開発し、コントローラモデルとレコメンダモデルのパラメータを更新する。
レコメンダシステムにおける自動損失生成の課題の一つは、レコメンデーションデータセットの極端なスパースである。
この問題を解決するため,効率よく効果的な損失発生のための報酬フィルタリング機構を更に開発する。
実験結果から,提案するフレームワークは,異なる推薦モデルやデータセットに対して適切な損失関数を作成することができ,生成した損失は,一般的に使用されるベースライン損失よりも優れたレコメンデーション性能が得られることが示された。
さらに、生成された損失のほとんどは転送可能であり、すなわち、あるモデルとデータセットに基づいて生成された損失は、別のモデルやデータセットでもうまく機能する。
ソースコードはhttps://github.com/rutgerswiselab/autolossgenで入手できる。
関連論文リスト
- Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。
最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文 参考訳（メタデータ） (2024-10-30T17:20:10Z) - LEARN: An Invex Loss for Outlier Oblivious Robust Online Optimization [56.67706781191521]
敵は、学習者に未知の任意の数kの損失関数を破損させることで、外れ値を導入することができる。
我々は,任意の数kで損失関数を破損させることで,敵が外乱を発生させることができる,頑健なオンラインラウンド最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-08-12T17:08:31Z) - Next Generation Loss Function for Image Classification [0.0]
我々は、遺伝的プログラミング(GP)アプローチを利用して、クロスエントロピー(CE)損失を含むよく知られた損失関数に挑戦する。
NGL(Next Generation Loss)と呼ばれる1つの関数は、テストされたすべてのデータセットで、同じか、より優れたパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-04-19T15:26:36Z) - Xtreme Margin: A Tunable Loss Function for Binary Classification
Problems [0.0]
本稿では,新しい損失関数 Xtreme Margin の損失関数について概説する。
二進的クロスエントロピーやヒンジ損失関数とは異なり、この損失関数は研究者や実践者がトレーニングプロセスに柔軟性をもたらす。
論文 参考訳（メタデータ） (2022-10-31T22:39:32Z) - LegoNet: A Fast and Exact Unlearning Architecture [59.49058450583149]
機械学習は、トレーニングされたモデルから削除された要求に対する特定のトレーニングサンプルの影響を削除することを目的としている。
固定エンコーダ+複数アダプタのフレームワークを採用した新しいネットワークである textitLegoNet を提案する。
我々は、LegoNetが許容できる性能を維持しつつ、高速かつ正確な未学習を実現し、未学習のベースラインを総合的に上回っていることを示す。
論文 参考訳（メタデータ） (2022-10-28T09:53:05Z) - Training Over-parameterized Models with Non-decomposable Objectives [46.62273918807789]
より一般的なコスト行列を扱うために,ロジット調整という古典的な考え方を拡張した新たなコスト感受性損失を提案する。
私たちの損失は校正され、教師モデルの蒸留ラベルでさらに改善できます。
論文 参考訳（メタデータ） (2021-07-09T19:29:33Z) - AutoLoss: Automated Loss Function Search in Recommendations [34.27873944762912]
候補集合から適切な損失関数を自動かつ適応的に検索できるAutoLossフレームワークを提案する。
既存のアルゴリズムとは異なり、提案したコントローラは、様々な収束挙動に応じて、異なるデータ例に対する損失確率を適応的に生成することができる。
論文 参考訳（メタデータ） (2021-06-12T08:15:00Z) - A Mathematical Analysis of Learning Loss for Active Learning in
Regression [2.792030485253753]
本論文では、LearningLoss++と呼ばれる新しい修正を提案するためのLearning Lossの基礎を開発する。
本稿では,学習損失の解釈において,学習損失と学習ロス++との勾配を厳密に分析し比較することで,勾配が重要であることを示す。
また,異なるスケールで機能を組み合わせて損失を予測する畳み込みアーキテクチャを提案する。
learningloss++は、モデルがパフォーマンスの悪いシナリオを特定するのに優れており、モデルリファインメントがオープン世界での信頼性の高いパフォーマンスに繋がることを示している。
論文 参考訳（メタデータ） (2021-04-19T13:54:20Z) - Loss Function Discovery for Object Detection via Convergence-Simulation
Driven Search [101.73248560009124]
本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。
一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。
実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
論文 参考訳（メタデータ） (2021-02-09T08:34:52Z) - Adaptive Weighted Discriminator for Training Generative Adversarial
Networks [11.68198403603969]
本稿では,実物と偽物の重み付けを取り入れた新たな識別器損失関数群を提案する。
本手法は実部と偽部の合計である損失を持つ任意の判別器モデルに適用できる可能性がある。
論文 参考訳（メタデータ） (2020-12-05T23:55:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。