論文の概要: Mask in the Mirror: Implicit Sparsification

• arxiv url: http://arxiv.org/abs/2408.09966v1
• Date: Mon, 19 Aug 2024 13:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:13:49.783382
• Title: Mask in the Mirror: Implicit Sparsification
• Title（参考訳）: 鏡のマスク:暗黙のスパシフィケーション
• Authors: Tom Jacobs, Rebekka Burkholz,
• Abstract要約: 連続スパシフィケーションは、緩和マスク変数の共通射影を必要としないような空間性に対する暗黙の偏見を持つことを示した。 我々は、未決定線形回帰の文脈において、結果の収束と最適性の保証を導出する。 私たちの理論的な貢献は、リッチな体制に入る方法を強調し、暗黙の偏見が時間依存のブレグマンポテンシャルによって制御可能であることを示すため、独立した関心を持つかもしれない。
• 参考スコア（独自算出の注目度）: 16.69937899343079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparsifying deep neural networks to reduce their inference cost is an NP-hard problem and difficult to optimize due to its mixed discrete and continuous nature. Yet, as we prove, continuous sparsification has already an implicit bias towards sparsity that would not require common projections of relaxed mask variables. While implicit rather than explicit regularization induces benefits, it usually does not provide enough flexibility in practice, as only a specific target sparsity is obtainable. To exploit its potential for continuous sparsification, we propose a way to control the strength of the implicit bias. Based on the mirror flow framework, we derive resulting convergence and optimality guarantees in the context of underdetermined linear regression and demonstrate the utility of our insights in more general neural network sparsification experiments, achieving significant performance gains, particularly in the high-sparsity regime. Our theoretical contribution might be of independent interest, as we highlight a way to enter the rich regime and show that implicit bias is controllable by a time-dependent Bregman potential.
• Abstract（参考訳）: 深層ニューラルネットワークの分散化による推論コストの低減はNPハード問題であり、離散的かつ連続的な性質が混在しているため最適化が困難である。 しかし、我々が証明したように、連続スパシフィケーションは、緩和マスク変数の共通射影を必要としないような空間性に対する暗黙の偏見を持つ。 明示的な正規化よりも暗黙的な正規化は利益をもたらすが、特定のターゲット空間しか得られないので、実際には十分な柔軟性を提供しない。 連続的なスパシフィケーションの可能性を生かして、暗黙バイアスの強度を制御する方法を提案する。 ミラーフローの枠組みに基づいて,線形回帰の過小評価の文脈において,結果の収束と最適性の保証を導出し,より一般的なニューラルネットワークスペーサー化実験における洞察の有用性を実証し,特に高スパーシビリティ・レシエーションにおいて顕著な性能向上を実現した。 私たちの理論的な貢献は、リッチな体制に入る方法を強調し、暗黙の偏見が時間依存のブレグマンポテンシャルによって制御可能であることを示すため、独立した関心を持つかもしれない。

関連論文リスト

• Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood [86.70040320522432]
  ニューラルネットワークのスパーシフィケーションは、計算時間とメモリコストを削減できる有望な方法である。 Sparsifiability via the Marginal chance (SpaM) a pruning framework。 当社のフレームワークの有効性を,特に高頻度で実証する。
  論文  参考訳（メタデータ） (2024-02-25T03:48:13Z)
• Implicit Visual Bias Mitigation by Posterior Estimate Sharpening of a Bayesian Neural Network [7.488317734152586]
  ベイズニューラルネットワークを用いた新しい暗黙的緩和法を提案する。 提案手法は,高い不確実性に寄与しないコア特徴に注目することを促す。
  論文  参考訳（メタデータ） (2023-03-29T09:47:35Z)
• Anti-Exploration by Random Network Distillation [63.04360288089277]
  ランダムネットワーク蒸留 (RND) の条件付けは, 不確実性推定器として用いるのに十分な識別性がないことを示す。 この制限は、FiLM(Feature-wise Linear Modulation)に基づく条件付けによって回避できることを示す。 D4RLベンチマークで評価したところ、アンサンブルベースの手法に匹敵する性能を達成でき、アンサンブルのない手法よりも広いマージンで性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T13:18:33Z)
• Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers [0.0]
  Inverse Propensity Scoring (IPS) は、問題の時間的性質を考慮しないため、逐次的なレコメンデーションに拡張されない。 そこで我々は,Clozeタスクの逐次的推奨を理論的に無視できる新しい確率スコアリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-22T21:44:25Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty [6.09170287691728]
  本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。 本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。 次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
  論文  参考訳（メタデータ） (2020-06-11T13:14:01Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。