論文の概要: Mask in the Mirror: Implicit Sparsification

• arxiv url: http://arxiv.org/abs/2408.09966v1
• Date: Mon, 19 Aug 2024 13:14:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 16:13:49.783382
• Title: Mask in the Mirror: Implicit Sparsification
• Title（参考訳）: 鏡のマスク:暗黙のスパシフィケーション
• Authors: Tom Jacobs, Rebekka Burkholz,
• Abstract要約: 連続スパシフィケーションは、緩和マスク変数の共通射影を必要としないような空間性に対する暗黙の偏見を持つことを示した。 我々は、未決定線形回帰の文脈において、結果の収束と最適性の保証を導出する。 私たちの理論的な貢献は、リッチな体制に入る方法を強調し、暗黙の偏見が時間依存のブレグマンポテンシャルによって制御可能であることを示すため、独立した関心を持つかもしれない。
• 参考スコア（独自算出の注目度）: 16.69937899343079
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparsifying deep neural networks to reduce their inference cost is an NP-hard problem and difficult to optimize due to its mixed discrete and continuous nature. Yet, as we prove, continuous sparsification has already an implicit bias towards sparsity that would not require common projections of relaxed mask variables. While implicit rather than explicit regularization induces benefits, it usually does not provide enough flexibility in practice, as only a specific target sparsity is obtainable. To exploit its potential for continuous sparsification, we propose a way to control the strength of the implicit bias. Based on the mirror flow framework, we derive resulting convergence and optimality guarantees in the context of underdetermined linear regression and demonstrate the utility of our insights in more general neural network sparsification experiments, achieving significant performance gains, particularly in the high-sparsity regime. Our theoretical contribution might be of independent interest, as we highlight a way to enter the rich regime and show that implicit bias is controllable by a time-dependent Bregman potential.
• Abstract（参考訳）: 深層ニューラルネットワークの分散化による推論コストの低減はNPハード問題であり、離散的かつ連続的な性質が混在しているため最適化が困難である。 しかし、我々が証明したように、連続スパシフィケーションは、緩和マスク変数の共通射影を必要としないような空間性に対する暗黙の偏見を持つ。 明示的な正規化よりも暗黙的な正規化は利益をもたらすが、特定のターゲット空間しか得られないので、実際には十分な柔軟性を提供しない。 連続的なスパシフィケーションの可能性を生かして、暗黙バイアスの強度を制御する方法を提案する。 ミラーフローの枠組みに基づいて,線形回帰の過小評価の文脈において,結果の収束と最適性の保証を導出し,より一般的なニューラルネットワークスペーサー化実験における洞察の有用性を実証し,特に高スパーシビリティ・レシエーションにおいて顕著な性能向上を実現した。 私たちの理論的な貢献は、リッチな体制に入る方法を強調し、暗黙の偏見が時間依存のブレグマンポテンシャルによって制御可能であることを示すため、独立した関心を持つかもしれない。

関連論文リスト

• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Understanding Contrastive Learning via Distributionally Robust Optimization [29.202594242468678]
  本研究は,類似のセマンティクス(ラベルなど)を負のサンプルとして含むサンプリングバイアスに対するコントラッシブラーニング(CL)の固有の耐性を明らかにする。 本研究は,分散ロバスト最適化 (DRO) のレンズを用いてCLを解析することにより,この研究ギャップを橋渡しし,いくつかの重要な知見を得る。 また, CLの過保守性や異常値に対する感受性などの潜在的な欠点を同定し, これらの問題を緩和するための新しいAdjusted InfoNCE損失(ADNCE)を導入する。
  論文  参考訳（メタデータ） (2023-10-17T07:32:59Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• The Role of Baselines in Policy Gradient Optimization [83.42050606055822]
  Emphstateのバリューベースラインが、オン・ポリティクスを可能にしていることを示す。 世界的な最適な政策勾配(NPG)に収束する。 O (1/t) レート勾配でのポリシー。 値ベースラインの主な効果は、その分散ではなく、更新のアグレッシブさをthabfreduceすることにある。
  論文  参考訳（メタデータ） (2023-01-16T06:28:00Z)
• Robust Imitation via Mirror Descent Inverse Reinforcement Learning [18.941048578572577]
  本稿では,制約付き凸問題の反復解である報酬関数列を予測することを提案する。 提案したミラー降下更新規則は,ブレグマンの発散を最小化できることを示す。 我々のIRL法は, 既存手法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-10-20T12:25:21Z)
• Globally Convergent Policy Search over Dynamic Filters for Output Estimation [64.90951294952094]
  我々は,大域的に最適な$textitdynamic$ filterに収束する最初の直接ポリシー探索アルゴリズム凸を導入する。 我々は、情報化が前述の優越性を克服していることを示す。
  論文  参考訳（メタデータ） (2022-02-23T18:06:20Z)
• DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization [125.5448293005647]
  教師付き学習で見られるSGDの暗黙的な正則化効果が、オフラインの深いRLでは有害である可能性について論じる。 我々の理論的解析は、暗黙正則化の既存のモデルが時間差分学習に適用された場合、導出正規化器は退化解を好むことを示している。 我々は、この暗黙的正則化の望ましくない効果に対処する、DR3と呼ばれる単純で効果的な明示的正則化器を提案する。
  論文  参考訳（メタデータ） (2021-12-09T06:01:01Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• A Random Matrix Theory Approach to Damping in Deep Learning [0.7614628596146599]
  深層学習における適応的勾配法と非適応的勾配法との違いは推定ノイズの増加に起因すると推測する。 線形縮退推定にインスパイアされた2次オプティマイザのためのランダム行列理論に基づくダンピング学習器を開発した。
  論文  参考訳（メタデータ） (2020-11-15T18:19:42Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。