論文の概要: Interpreting and Boosting Dropout from a Game-Theoretic View

• arxiv url: http://arxiv.org/abs/2009.11729v4
• Date: Tue, 16 Mar 2021 10:42:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 03:57:14.500957
• Title: Interpreting and Boosting Dropout from a Game-Theoretic View
• Title（参考訳）: ゲーム理論から見たドロップアウトの解釈と促進
• Authors: Hao Zhang, Sen Li, Yinchao Ma, Mingjie Li, Yichen Xie, Quanshi Zhang
• Abstract要約: 本稿では,ゲーム理論的相互作用の観点から,ドロップアウト操作の有用性を理解し,改善することを目的とする。 深層ニューラルネットワーク(DNN)の入力変数間の相互作用の強さを抑えることができることを示す。
• 参考スコア（独自算出の注目度）: 40.56832661867609
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper aims to understand and improve the utility of the dropout operation from the perspective of game-theoretic interactions. We prove that dropout can suppress the strength of interactions between input variables of deep neural networks (DNNs). The theoretic proof is also verified by various experiments. Furthermore, we find that such interactions were strongly related to the over-fitting problem in deep learning. Thus, the utility of dropout can be regarded as decreasing interactions to alleviate the significance of over-fitting. Based on this understanding, we propose an interaction loss to further improve the utility of dropout. Experimental results have shown that the interaction loss can effectively improve the utility of dropout and boost the performance of DNNs.
• Abstract（参考訳）: 本稿では,ゲーム理論的相互作用の観点から,ドロップアウト操作の有用性を理解し,改善することを目的とする。 深層ニューラルネットワーク(DNN)の入力変数間の相互作用の強さを抑えることができることを示す。 理論的な証明は様々な実験によって検証される。 さらに,このような相互作用は,深層学習における過度に適合する問題と強く関係していることがわかった。 したがって、ドロップアウトの有用性は、過剰フィッティングの意義を和らげるために相互作用を減少させると見なすことができる。 この理解に基づいて,ドロップアウトの有用性をさらに向上する相互作用損失を提案する。 実験結果から, 相互作用損失はドロップアウトの有用性を効果的に向上し, DNNの性能を向上させることが示唆された。

関連論文リスト

• Investigating the Synergistic Effects of Dropout and Residual Connections on Language Model Training [6.198560135369579]
  本稿では,言語モデル学習における過剰適合軽減におけるドロップアウト手法の意義について考察する。 言語モデリングの文脈における個々の層と残余接続に対する変数のドロップアウト率の影響について、包括的な調査を行っている。
  論文  参考訳（メタデータ） (2024-10-01T19:27:00Z)
• What Variables Affect Out-of-Distribution Generalization in Pretrained Models? [15.047920317548128]
  トレーニング済みのディープニューラルネットワーク(DNN)によって生成された埋め込みは広く使用されているが、下流タスクに対する効果は様々である。 プレトレーニングDNN埋め込みの伝達性および分布外一般化に影響を与える要因について検討した。
  論文  参考訳（メタデータ） (2024-05-23T19:43:45Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• CausalDialogue: Modeling Utterance-level Causality in Conversations [83.03604651485327]
  クラウドソーシングを通じて、CausalDialogueという新しいデータセットをコンパイルし、拡張しました。 このデータセットは、有向非巡回グラフ(DAG)構造内に複数の因果効果対を含む。 ニューラル会話モデルの訓練における発話レベルにおける因果性の影響を高めるために,Exponential Average Treatment Effect (ExMATE) と呼ばれる因果性強化手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T18:31:50Z)
• Towards Interaction Detection Using Topological Analysis on Neural Networks [55.74562391439507]
  ニューラルネットワークでは、あらゆる相互作用する特徴は共通の隠蔽ユニットとの強い重み付けの接続に従う必要がある。 本稿では, 永続的ホモロジーの理論に基づいて, 相互作用強度を定量化するための新しい尺度を提案する。 PID(Persistence Interaction Detection)アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-10-25T02:15:24Z)
• A Unified Approach to Interpreting and Boosting Adversarial Transferability [42.33597623865435]
  本稿では, 対向的摂動の相互作用を用いて, 対向的伝達性を説明し, 促進する。 本研究は, 対向移動可能性と対向摂動の相互作用との負の相関を証明し, 証明する。 本稿では,攻撃過程における相互作用のペナルティ化を提案する。
  論文  参考訳（メタデータ） (2020-10-08T15:19:22Z)
• Learning Multiplicative Interactions with Bayesian Neural Networks for Visual-Inertial Odometry [44.209301916028124]
  本稿では,視覚慣性オドメトリー(VIO)のためのエンドツーエンドマルチモーダル学習手法を提案する。 センサ劣化シナリオに照らして、センサの相補性を利用するように設計されている。
  論文  参考訳（メタデータ） (2020-07-15T11:39:29Z)
• Interference and Generalization in Temporal Difference Learning [86.31598155056035]
  時間差学習における一般化と干渉の関係について検討する。 教師付き学習ではTDが容易に低干渉,低一般化パラメータにつながり,その効果は逆のように見える。
  論文  参考訳（メタデータ） (2020-03-13T15:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。