論文の概要: Dropout as a Regularizer of Interaction Effects

• arxiv url: http://arxiv.org/abs/2007.00823v2
• Date: Sun, 17 Oct 2021 15:05:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:06:07.496871
• Title: Dropout as a Regularizer of Interaction Effects
• Title（参考訳）: 相互作用効果の調整剤としてのドロップアウト
• Authors: Benjamin Lengerich, Eric P. Xing, Rich Caruana
• Abstract要約: ドロップアウトは高次相互作用に対する正則化器である。 我々はこの視点を分析的かつ実証的に証明する。 また、高次相互作用に対して同じ選択的な圧力を得ることも困難である。
• 参考スコア（独自算出の注目度）: 76.84531978621143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine Dropout through the perspective of interactions. This view provides a symmetry to explain Dropout: given $N$ variables, there are ${N \choose k}$ possible sets of $k$ variables to form an interaction (i.e. $\mathcal{O}(N^k)$); conversely, the probability an interaction of $k$ variables survives Dropout at rate $p$ is $(1-p)^k$ (decaying with $k$). These rates effectively cancel, and so Dropout regularizes against higher-order interactions. We prove this perspective analytically and empirically. This perspective of Dropout as a regularizer against interaction effects has several practical implications: (1) higher Dropout rates should be used when we need stronger regularization against spurious high-order interactions, (2) caution should be exercised when interpreting Dropout-based explanations and uncertainty measures, and (3) networks trained with Input Dropout are biased estimators. We also compare Dropout to other regularizers and find that it is difficult to obtain the same selective pressure against high-order interactions.
• Abstract（参考訳）: 我々はインタラクションの観点からドロップアウトについて検討する。 このビューはドロップアウトを説明するための対称性を提供する: $n$変数が与えられたとき、${n \choose k}$ は相互作用を形成するための$k$変数の集合(すなわち$\mathcal{o}(n^k)$)であり、逆に$k$変数の相互作用が残る確率は$p$で$(1-p)^k$である。 これらのレートは事実上キャンセルされ、ドロップアウトは高次相互作用に対して規則化する。 この視点を解析的かつ実証的に証明する。 相互作用効果に対する正則化としてのドロップアウトの考え方は,(1)高次相互作用に対するより強い正則化が必要な場合のドロップアウト率の向上,(2) ドロップアウトに基づく説明や不確実性を解釈する場合の注意,(3) 入力ドロップアウトで訓練されたネットワークのバイアス評価など,いくつかの実践的意味を持つ。 また、ドロップアウトを他の正規化器と比較し、高次相互作用に対する同じ選択圧力を得ることが困難であることを見出した。

関連論文リスト

• Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
  直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。 以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。 確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
  論文  参考訳（メタデータ） (2024-10-11T14:22:44Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Balancing central and marginal rejection when combining independent significance tests [0.0]
  p$-valuesのコレクションの重要性を評価するための一般的なアプローチは、それらをプーリング関数と組み合わせている。 p$-値の非ヌルな証拠の強さと頻度を伝達する一連の代替仮説が導入された。 中央の拒絶は常に限界の拒絶よりも大きいか等しいことが証明されており、両者のバランスを測る商を動機付けている。
  論文  参考訳（メタデータ） (2023-10-25T12:45:49Z)
• Predicting Rare Events by Shrinking Towards Proportional Odds [1.599072005190786]
  先行段階のより豊富なデータは、希少事象の確率の推定を改善するために活用される可能性がある。 順序回帰に対する比例オッズモデルの緩和であるPRESTOを提案する。 PRESTO が決定境界重みを不規則に推定することを証明している。
  論文  参考訳（メタデータ） (2023-05-30T02:50:08Z)
• WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
  キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。 最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。 本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
  論文  参考訳（メタデータ） (2022-11-13T09:56:24Z)
• The Curse of Passive Data Collection in Batch Reinforcement Learning [82.6026077420886]
  高い利害関係のアプリケーションでは、アクティブな実験は危険すぎると考えられ、データはしばしば受動的に収集される。 バンディットやパッシブ、アクティブなデータ収集などの単純な場合も同様に効果的であるが、制御された状態のシステムからデータを集める場合、パッシブサンプリングの価格ははるかに高い。
  論文  参考訳（メタデータ） (2021-06-18T07:54:23Z)
• $PredDiff$: Explanations and Interactions from Conditional Expectations [0.3655021726150368]
  preddiff$ は確率論に根ざしたモデルに依存しない局所帰属法である。 本研究では,$preddiff$の特性を明確にし,元の形式的拡張をいくつか提示する。
  論文  参考訳（メタデータ） (2021-02-26T14:46:47Z)
• Towards Defending Multiple $\ell_p$-norm Bounded Adversarial Perturbations via Gated Batch Normalization [120.99395850108422]
  既存の敵防衛は、個々の摂動に対するモデル堅牢性を改善するのが一般的である。 最近の手法では、複数の$ell_p$球における敵攻撃に対するモデルロバスト性を改善するが、各摂動型に対するそれらの性能は、まだ十分ではない。 我々は,複数の$ell_pの有界摂動を守るために,摂動不変予測器を逆向きに訓練するGated Batch Normalization (GBN)を提案する。
  論文  参考訳（メタデータ） (2020-12-03T02:26:01Z)
• The Implicit and Explicit Regularization Effects of Dropout [43.431343291010734]
  ドロップアウト(英: Dropout)は、多くのアーキテクチャの最先端を得るためにしばしば必要とされる、広く使われている正規化技術である。 この研究は、ドロップアウトが2つの異なるが絡み合った正規化効果をもたらすことを示した。
  論文  参考訳（メタデータ） (2020-02-28T18:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。