論文の概要: Towards Practical Control of Singular Values of Convolutional Layers

• arxiv url: http://arxiv.org/abs/2211.13771v1
• Date: Thu, 24 Nov 2022 19:09:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 15:24:52.665998
• Title: Towards Practical Control of Singular Values of Convolutional Layers
• Title（参考訳）: 畳み込み層の特異値の実際制御に向けて
• Authors: Alexandra Senderovich, Ekaterina Bulatova, Anton Obukhov, Maxim Rakhuba
• Abstract要約: 畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な特性は制御が難しい。 最近の研究では、畳み込み層の特異値がそのような解像特性に顕著に影響を及ぼすことが示された。 我々は,レイヤ表現力の著しく低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提供する。
• 参考スコア（独自算出の注目度）: 65.25070864775793
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In general, convolutional neural networks (CNNs) are easy to train, but their essential properties, such as generalization error and adversarial robustness, are hard to control. Recent research demonstrated that singular values of convolutional layers significantly affect such elusive properties and offered several methods for controlling them. Nevertheless, these methods present an intractable computational challenge or resort to coarse approximations. In this paper, we offer a principled approach to alleviating constraints of the prior art at the expense of an insignificant reduction in layer expressivity. Our method is based on the tensor-train decomposition; it retains control over the actual singular values of convolutional mappings while providing structurally sparse and hardware-friendly representation. We demonstrate the improved properties of modern CNNs with our method and analyze its impact on the model performance, calibration, and adversarial robustness. The source code is available at: https://github.com/WhiteTeaDragon/practical_svd_conv
• Abstract（参考訳）: 一般に、畳み込みニューラルネットワーク(CNN)の訓練は容易であるが、一般化誤差や対向ロバスト性といった基本的な性質は制御が難しい。 近年の研究では、畳み込み層の特異値がそのような不可解な性質に大きく影響し、それらを制御するいくつかの方法を提供した。 にもかかわらず、これらの手法は難解な計算上の課題または粗い近似に依存する。 本稿では,レイヤ表現性の低下を犠牲にして,先行技術の制約を緩和するための原則的アプローチを提案する。 提案手法はテンソル-トレイン分解に基づいており、構造的に疎結合でハードウェアフレンドリーな表現を提供しながら、畳み込み写像の実際の特異値を制御する。 本研究では,現代のcnnの特性を改良し,そのモデル性能,キャリブレーション,対向ロバスト性に与える影響を分析した。 ソースコードは、https://github.com/WhiteTeaDragon/practical_svd_convで入手できる。

関連論文リスト

• MOREL: Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、わずかに敵対的な摂動に対して脆弱である。 トレーニング中の強力な特徴表現学習は、元のモデルの堅牢性を大幅に向上させることができることを示す。 本稿では,多目的特徴表現学習手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• On the effectiveness of partial variance reduction in federated learning with heterogeneous data [27.527995694042506]
  クライアント間の最終分類層の多様性は、FedAvgアルゴリズムの性能を阻害することを示す。 そこで本研究では,最終層のみの分散還元によるモデル修正を提案する。 同様の通信コストや低い通信コストで既存のベンチマークを著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2022-12-05T11:56:35Z)
• Revisiting Sparse Convolutional Model for Visual Recognition [40.726494290922204]
  本稿では,画像分類のためのスパース畳み込みモデルについて再検討する。 CIFAR-10, CIFAR-100, ImageNetデータセット上でも同様に強力な実験性能を示した。
  論文  参考訳（メタデータ） (2022-10-24T04:29:21Z)
• Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness [15.395021925719817]
  バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。 BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。 本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T16:16:24Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training [44.66478612082257]
  現代畳み込みニューラルネットワーク(convnets)では正規化技術が基本成分となっている フーリエ領域における畳み込み構造を完全に活用できるシンプルで効率的な畳み込み正規化法を導入する。 畳み込み正規化は、重み行列の層単位でのスペクトルノルムを減少させ、ネットワークのリプシッツ性を改善することができることを示す。
  論文  参考訳（メタデータ） (2021-03-01T00:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。