論文の概要: Mask in the Mirror: Implicit Sparsification

• arxiv url: http://arxiv.org/abs/2408.09966v2
• Date: Wed, 12 Feb 2025 14:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 18:10:00.620291
• Title: Mask in the Mirror: Implicit Sparsification
• Title（参考訳）: 鏡のマスク:暗黙のスパシフィケーション
• Authors: Tom Jacobs, Rebekka Burkholz,
• Abstract要約: 連続スパシフィケーション戦略は、ニューラルネットワークの推論コストとメモリ要求を減らす最も効果的な方法の1つである。 彼らの成功の重要な要因は、マスク変数とウェイト変数の両方を共同学習することによって引き起こされる暗黙の$L_1$正規化である。 本稿では, 学習力学を解析し, 初期連続スパシフィケーションが暗黙の$L$正規化によって支配されていることを明らかにすることによって, この観察を理論的に説明する。 本稿では,この暗黙バイアスの強度を動的に制御する手法を提案する。
• 参考スコア（独自算出の注目度）: 16.69937899343079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continuous sparsification strategies are among the most effective methods for reducing the inference costs and memory demands of large-scale neural networks. A key factor in their success is the implicit $L_1$ regularization induced by jointly learning both mask and weight variables, which has been shown experimentally to outperform explicit $L_1$ regularization. We provide a theoretical explanation for this observation by analyzing the learning dynamics, revealing that early continuous sparsification is governed by an implicit $L_2$ regularization that gradually transitions to an $L_1$ penalty over time. Leveraging this insight, we propose a method to dynamically control the strength of this implicit bias. Through an extension of the mirror flow framework, we establish convergence and optimality guarantees in the context of underdetermined linear regression. Our theoretical findings may be of independent interest, as we demonstrate how to enter the rich regime and show that the implicit bias can be controlled via a time-dependent Bregman potential. To validate these insights, we introduce PILoT, a continuous sparsification approach with novel initialization and dynamic regularization, which consistently outperforms baselines in standard experiments.
• Abstract（参考訳）: 大規模ニューラルネットワークの推論コストとメモリ要求を低減するための、継続的スペーシフィケーション戦略は、最も効果的な方法のひとつである。 彼らの成功の鍵となる要因は、マスク変数とウェイト変数の両方を共同学習することによって引き起こされる暗黙的な$L_1$正規化であり、これは明示的な$L_1$正規化を上回るように実験的に示されている。 本研究では, 学習力学を解析し, 初期連続スパシフィケーションは暗黙の$L_2$正規化によって制御され, 時間とともに徐々に$L_1$ペナルティへと移行することを明らかにする。 この知見を利用して,この暗黙バイアスの強度を動的に制御する手法を提案する。 ミラーフローフレームワークの拡張により、過小決定線形回帰の文脈において収束性と最適性を保証する。 我々の理論的な発見は、豊かな体制に入る方法を示し、暗黙の偏見は時間依存のブレグマンポテンシャルによって制御できることを示すため、独立した関心を持つかもしれない。 これらの知見を検証するために,新しい初期化と動的正則化を備えた連続スパシフィケーション手法PILoTを導入する。

関連論文リスト

• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Shaving Weights with Occam's Razor: Bayesian Sparsification for Neural Networks Using the Marginal Likelihood [86.70040320522432]
  ニューラルネットワークのスパーシフィケーションは、計算時間とメモリコストを削減できる有望な方法である。 Sparsifiability via the Marginal chance (SpaM) a pruning framework。 当社のフレームワークの有効性を,特に高頻度で実証する。
  論文  参考訳（メタデータ） (2024-02-25T03:48:13Z)
• Implicit Bias and Fast Convergence Rates for Self-attention [26.766649949420746]
  本稿では,変圧器の定義機構である自己注意の基本的な最適化原理について考察する。 線形分類におけるデコーダを用いた自己アテンション層における勾配ベースの暗黙バイアスを解析する。
  論文  参考訳（メタデータ） (2024-02-08T15:15:09Z)
• Understanding Contrastive Learning via Distributionally Robust Optimization [29.202594242468678]
  本研究は,類似のセマンティクス(ラベルなど)を負のサンプルとして含むサンプリングバイアスに対するコントラッシブラーニング(CL)の固有の耐性を明らかにする。 本研究は,分散ロバスト最適化 (DRO) のレンズを用いてCLを解析することにより,この研究ギャップを橋渡しし,いくつかの重要な知見を得る。 また, CLの過保守性や異常値に対する感受性などの潜在的な欠点を同定し, これらの問題を緩和するための新しいAdjusted InfoNCE損失(ADNCE)を導入する。
  論文  参考訳（メタデータ） (2023-10-17T07:32:59Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• Implicit Visual Bias Mitigation by Posterior Estimate Sharpening of a Bayesian Neural Network [7.488317734152586]
  ベイズニューラルネットワークを用いた新しい暗黙的緩和法を提案する。 提案手法は,高い不確実性に寄与しないコア特徴に注目することを促す。
  論文  参考訳（メタデータ） (2023-03-29T09:47:35Z)
• Anti-Exploration by Random Network Distillation [63.04360288089277]
  ランダムネットワーク蒸留 (RND) の条件付けは, 不確実性推定器として用いるのに十分な識別性がないことを示す。 この制限は、FiLM(Feature-wise Linear Modulation)に基づく条件付けによって回避できることを示す。 D4RLベンチマークで評価したところ、アンサンブルベースの手法に匹敵する性能を達成でき、アンサンブルのない手法よりも広いマージンで性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-01-31T13:18:33Z)
• Debiasing the Cloze Task in Sequential Recommendation with Bidirectional Transformers [0.0]
  Inverse Propensity Scoring (IPS) は、問題の時間的性質を考慮しないため、逐次的なレコメンデーションに拡張されない。 そこで我々は,Clozeタスクの逐次的推奨を理論的に無視できる新しい確率スコアリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-22T21:44:25Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Robust Imitation via Mirror Descent Inverse Reinforcement Learning [18.941048578572577]
  本稿では,制約付き凸問題の反復解である報酬関数列を予測することを提案する。 提案したミラー降下更新規則は,ブレグマンの発散を最小化できることを示す。 我々のIRL法は, 既存手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-20T12:25:21Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Globally Convergent Policy Search over Dynamic Filters for Output Estimation [64.90951294952094]
  我々は,大域的に最適な$textitdynamic$ filterに収束する最初の直接ポリシー探索アルゴリズム凸を導入する。 我々は、情報化が前述の優越性を克服していることを示す。
  論文  参考訳（メタデータ） (2022-02-23T18:06:20Z)
• DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization [125.5448293005647]
  教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。 我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。 我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:01:01Z)
• Unsupervised Learning of Debiased Representations with Pseudo-Attributes [85.5691102676175]
  教師なし方式で,単純かつ効果的な脱バイアス手法を提案する。 特徴埋め込み空間上でクラスタリングを行い、クラスタリング結果を利用して疑似属性を識別する。 次に,非偏り表現を学習するために,クラスタベースの新しい重み付け手法を用いる。
  論文  参考訳（メタデータ） (2021-08-06T05:20:46Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
  深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。 線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
  論文  参考訳（メタデータ） (2020-11-15T18:19:42Z)
• Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty [6.09170287691728]
  本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。 本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。 次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
  論文  参考訳（メタデータ） (2020-06-11T13:14:01Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)
• Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization [1.3764085113103217]
  オーバーフィッティングは、比較的小さなデータセットでディープニューラルネットワークをトレーニングする際の最も一般的な問題の1つである。 オーバーフィッティング対策として, 新規な対象空間可視化と正規化戦略を提案する。
  論文  参考訳（メタデータ） (2020-02-21T11:38:17Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。