論文の概要: A Survey on Dropout Methods and Experimental Verification in Recommendation

• arxiv url: http://arxiv.org/abs/2204.02027v1
• Date: Tue, 5 Apr 2022 07:08:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-06 14:42:24.420859
• Title: A Survey on Dropout Methods and Experimental Verification in Recommendation
• Title（参考訳）: レコメンデーションにおけるドロップアウト法と実験的検証に関する調査
• Authors: Yangkun Li, Weizhi Ma, Chong Chen, Min Zhang, Yiqun Liu, Shaoping Ma, Yuekui Yang
• Abstract要約: オーバーフィッティング(Overfitting)は、機械学習において一般的な問題であり、モデルがテストデータで不十分なパフォーマンスを保ちながら、トレーニングデータに非常によく適合していることを意味する。 オーバーフィッティングを扱う様々な方法の中で、ドロップアウトは代表的な方法の1つである。 ランダムにニューロンを落とすことから神経構造を落とすことまで、ドロップアウトはモデルの性能を改善することに成功している。
• 参考スコア（独自算出の注目度）: 34.557554809126415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overfitting is a common problem in machine learning, which means the model too closely fits the training data while performing poorly in the test data. Among various methods of coping with overfitting, dropout is one of the representative ways. From randomly dropping neurons to dropping neural structures, dropout has achieved great success in improving model performances. Although various dropout methods have been designed and widely applied in past years, their effectiveness, application scenarios, and contributions have not been comprehensively summarized and empirically compared by far. It is the right time to make a comprehensive survey. In this paper, we systematically review previous dropout methods and classify them into three major categories according to the stage where dropout operation is performed. Specifically, more than seventy dropout methods published in top AI conferences or journals (e.g., TKDE, KDD, TheWebConf, SIGIR) are involved. The designed taxonomy is easy to understand and capable of including new dropout methods. Then, we further discuss their application scenarios, connections, and contributions. To verify the effectiveness of distinct dropout methods, extensive experiments are conducted on recommendation scenarios with abundant heterogeneous information. Finally, we propose some open problems and potential research directions about dropout that worth to be further explored.
• Abstract（参考訳）: オーバーフィッティングは機械学習の一般的な問題であり、モデルがテストデータのパフォーマンスを損なうことなく、トレーニングデータにあまりにも密接に適合することを意味する。 オーバーフィッティングを扱う様々な方法の中で、ドロップアウトは代表的な方法の1つである。 ランダムにニューロンを落とすことから神経構造を落とすことまで、ドロップアウトはモデルの性能を改善することに成功している。 これまで様々なドロップアウト手法が設計され、広く適用されてきたが、その効果、アプリケーションシナリオ、コントリビューションは包括的に要約され、実証的に比較されていない。 総合的な調査を行うのが正しい時です。 本稿では,従来のドロップアウト手法を体系的にレビューし,ドロップアウト操作を行う段階に応じて3つの主要なカテゴリに分類する。 具体的には、トップAIカンファレンスやジャーナル(TKDE、KDD、TheWebConf、SIGIRなど)で発行される70以上のドロップアウトメソッドが関与している。 設計された分類学は容易に理解でき、新しいドロップアウト法を含むことができる。 次に、アプリケーションシナリオ、コネクション、コントリビューションについてさらに議論する。 異なるドロップアウト手法の有効性を検証するため,多種多様な情報を含む推薦シナリオについて広範な実験を行った。 最後に,より深く検討する価値のあるドロップアウトに関するオープンな問題と潜在的な研究方向を提案する。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• A Survey on Evidential Deep Learning For Single-Pass Uncertainty Estimation [0.0]
  情報深層学習(Evidential Deep Learning): 馴染みのないデータに対して、彼らは“知らないこと”を認め、以前の信念に戻る。 この調査は、Evidential Deep Learningという概念に基づいた、別のモデルのクラスを読者に親しみやすくすることを目的としている。
  論文  参考訳（メタデータ） (2021-10-06T20:13:57Z)
• CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction [3.2238887070637805]
  インスタンス依存型ドロップアウトアーキテクチャ(CODA)のための構成論的学習を提案する。 理論に基づいて、一様プロセス混合モデルというより良いドロップアウトテクニックを設計しました。 我々は,提案手法を実世界の5つのデータセット上で評価し,その性能を他の最先端のドロップアウト手法と比較した。
  論文  参考訳（メタデータ） (2021-06-15T21:32:28Z)
• Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
  ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。 単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。 提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-06T19:30:32Z)
• Advanced Dropout: A Model-free Methodology for Bayesian Dropout Optimization [62.8384110757689]
  ディープニューラルネットワーク(DNN)の現実的応用において、ユビキタスなオーバーフィッティングが存在する 先進的なドロップアウト手法は、パラメトリック先行でモデルフリーで容易に実装された分布を適用し、ドロップアウト率を適応的に調整する。 7つのコンピュータビジョンデータセットにおける9つのドロップアウト手法に対する高度なドロップアウトの有効性を評価する。
  論文  参考訳（メタデータ） (2020-10-11T13:19:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。