論文の概要: AutoLoss: Automated Loss Function Search in Recommendations

• arxiv url: http://arxiv.org/abs/2106.06713v1
• Date: Sat, 12 Jun 2021 08:15:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 21:09:34.533136
• Title: AutoLoss: Automated Loss Function Search in Recommendations
• Title（参考訳）: autoloss:レコメンデーションにおける自動損失関数検索
• Authors: Xiangyu Zhao, Haochen Liu, Wenqi Fan, Hui Liu, Jiliang Tang, Chong Wang
• Abstract要約: 候補集合から適切な損失関数を自動かつ適応的に検索できるAutoLossフレームワークを提案する。 既存のアルゴリズムとは異なり、提案したコントローラは、様々な収束挙動に応じて、異なるデータ例に対する損失確率を適応的に生成することができる。
• 参考スコア（独自算出の注目度）: 34.27873944762912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing an effective loss function plays a crucial role in training deep recommender systems. Most existing works often leverage a predefined and fixed loss function that could lead to suboptimal recommendation quality and training efficiency. Some recent efforts rely on exhaustively or manually searched weights to fuse a group of candidate loss functions, which is exceptionally costly in computation and time. They also neglect the various convergence behaviors of different data examples. In this work, we propose an AutoLoss framework that can automatically and adaptively search for the appropriate loss function from a set of candidates. To be specific, we develop a novel controller network, which can dynamically adjust the loss probabilities in a differentiable manner. Unlike existing algorithms, the proposed controller can adaptively generate the loss probabilities for different data examples according to their varied convergence behaviors. Such design improves the model's generalizability and transferability between deep recommender systems and datasets. We evaluate the proposed framework on two benchmark datasets. The results show that AutoLoss outperforms representative baselines. Further experiments have been conducted to deepen our understandings of AutoLoss, including its transferability, components and training efficiency.
• Abstract（参考訳）: 効果的な損失関数の設計は、ディープレコメンデータシステムのトレーニングにおいて重要な役割を果たす。 既存の作業の多くは、しばしば事前定義された固定された損失関数を利用して、最適以下の推奨品質とトレーニング効率をもたらす可能性がある。 いくつかの最近の試みは、計算と時間に非常にコストがかかる候補損失関数のグループを融合させるために、徹底的にまたは手動で探索された重みに頼っている。 また、異なるデータ例の様々な収束挙動を無視する。 本研究では,複数の候補から適切な損失関数を自動的にかつ適応的に検索できるautolossフレームワークを提案する。 具体的には、損失確率を動的に微分可能な方法で調整できる新しい制御ネットワークを開発した。 既存のアルゴリズムとは異なり、提案するコントローラは異なるデータ例の損失確率を、それぞれの収束挙動に応じて適応的に生成することができる。 このような設計は、ディープレコメンデータシステムとデータセット間のモデルの一般化性と転送可能性を改善する。 提案するフレームワークを2つのベンチマークデータセットで評価する。 その結果,autolossは代表ベースラインを上回ることがわかった。 転送性、コンポーネント、トレーニング効率など、AutoLossの理解を深めるためのさらなる実験が実施されている。

関連論文リスト

• Adaptive Real-Time Multi-Loss Function Optimization Using Dynamic Memory Fusion Framework: A Case Study on Breast Cancer Segmentation [0.0]
  適応型マルチロス関数をリアルタイムにペナル化するための動的メモリ融合という新しいフレームワークを提案する。 乳房超音波データセットを用いた実験により,様々な測定値のセグメンテーション性能が向上した。
  論文  参考訳（メタデータ） (2024-10-10T11:23:04Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks [6.452225158891343]
  本稿では,ニューラルネットワークのトレーニング速度と最終的な精度が,ニューラルネットワークのトレーニングに使用する損失関数に大きく依存することを示す。 様々なベンチマークタスクの性能を著しく向上させる2つの新しい分類損失関数を提案する。
  論文  参考訳（メタデータ） (2023-03-17T12:52:06Z)
• Adaptive Self-supervision Algorithms for Physics-informed Neural Networks [59.822151945132525]
  物理情報ニューラルネットワーク(PINN)は、損失関数のソフト制約として問題領域からの物理的知識を取り入れている。 これらのモデルの訓練性に及ぼす座標点の位置の影響について検討した。 モデルがより高い誤りを犯している領域に対して、より多くのコロケーションポイントを段階的に割り当てる適応的コロケーション方式を提案する。
  論文  参考訳（メタデータ） (2022-07-08T18:17:06Z)
• AutoLossGen: Automatic Loss Function Generation for Recommender Systems [40.21831408797939]
  推薦システムでは、良い損失がモデル性能を大幅に改善する可能性があるため、損失関数の選択が重要である。 以前の研究の大部分は、重要な専門知識と人的努力を必要とする手作りの損失関数に焦点を当てていた。 本稿では,基本数学的演算子から直接構築された損失関数を生成する自動損失関数生成フレームワークAutoLossGenを提案する。
  論文  参考訳（メタデータ） (2022-04-27T19:49:48Z)
• AutoBalance: Optimized Loss Functions for Imbalanced Data [38.64606886588534]
  本稿では,2段階最適化フレームワークであるAutoBalanceを提案する。 具体的には、下層問題はモデル重みを訓練し、上層問題は、検証データに対して所望の目的を監視、最適化することにより損失関数を調整する。 我々の損失設計は、パラメトリックなクロスエントロピー損失と個別化されたデータ拡張スキームを用いて、クラス/グループをパーソナライズすることを可能にする。
  論文  参考訳（メタデータ） (2022-01-04T15:53:23Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Loss Function Discovery for Object Detection via Convergence-Simulation Driven Search [101.73248560009124]
  本稿では,効率的な収束シミュレーションによる進化的探索アルゴリズムCSE-Autolossを提案する。 一般的な検出器上での損失関数探索の広範囲な評価を行い、探索された損失の優れた一般化能力を検証した。 実験の結果, 2段検出器と1段検出器のmAPでは, 最適損失関数の組み合わせが1.1%と0.8%を上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-09T08:34:52Z)
• Auto Seg-Loss: Searching Metric Surrogates for Semantic Segmentation [56.343646789922545]
  そこで本研究では,各計量に対する相異なるサロゲート損失を探索することにより,計量固有損失関数の設計を自動化することを提案する。 PASCAL VOCとCityscapesの実験では、探索されたサロゲート損失は手動で設計した損失関数よりも優れていた。
  論文  参考訳（メタデータ） (2020-10-15T17:59:08Z)
• A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
  勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。 3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-27T21:16:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。