論文の概要: CInC Flow: Characterizable Invertible 3x3 Convolution

• arxiv url: http://arxiv.org/abs/2107.01358v1
• Date: Sat, 3 Jul 2021 06:55:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:25:15.117710
• Title: CInC Flow: Characterizable Invertible 3x3 Convolution
• Title（参考訳）: CInC Flow: キャラクタライズ可能な可逆3x3コンボリューション
• Authors: Sandeep Nagar, Marius Dufraisse, Girish Varma
• Abstract要約: 我々は,3$times$3 CNNが可逆であり,表現的正規化フローを構築することができる条件について検討する。 効果的に非可逆的なCNN層に1つのCNN層しか必要としないため、我々のアプローチは新たな畳み込みよりも効率的である。
• 参考スコア（独自算出の注目度）: 3.165739576013741
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows are an essential alternative to GANs for generative modelling, which can be optimized directly on the maximum likelihood of the dataset. They also allow computation of the exact latent vector corresponding to an image since they are composed of invertible transformations. However, the requirement of invertibility of the transformation prevents standard and expressive neural network models such as CNNs from being directly used. Emergent convolutions were proposed to construct an invertible 3$\times$3 CNN layer using a pair of masked CNN layers, making them inefficient. We study conditions such that 3$\times$3 CNNs are invertible, allowing them to construct expressive normalizing flows. We derive necessary and sufficient conditions on a padded CNN for it to be invertible. Our conditions for invertibility are simple, can easily be maintained during the training process. Since we require only a single CNN layer for every effective invertible CNN layer, our approach is more efficient than emerging convolutions. We also proposed a coupling method, Quad-coupling. We benchmark our approach and show similar performance results to emergent convolutions while improving the model's efficiency.
• Abstract（参考訳）: 正規化フローは、データセットの最大可能性に基づいて直接最適化できる生成モデリングのためのGANに不可欠な代替手段である。 これらは可逆変換からなるため、画像に対応する正確な潜在ベクトルの計算も可能である。 しかし、変換の可逆性の必要性は、cnnのような標準的かつ表現力のあるニューラルネットワークモデルを直接使用することを妨げる。 創発的畳み込みは、マスクされた2つのCNN層を用いて可逆3$\times$3 CNN層を構築するために提案された。 3$\times$3 CNNは可逆であり、表現的正規化フローを構築することができる。 我々は、パッド付きcnnが可逆になるための必要十分条件を導出する。 インバータビリティの条件は単純であり、トレーニングプロセス中に容易に維持できる。 効果的な非可逆CNN層に1つのCNN層しか必要としないため、我々のアプローチは新たな畳み込みよりも効率的である。 また,結合法であるクアドカップリングも提案した。 このアプローチをベンチマークし,モデル効率を改善しながら,創発的畳み込みに類似のパフォーマンス結果を示す。

関連論文リスト

• OA-CNNs: Omni-Adaptive Sparse CNNs for 3D Semantic Segmentation [70.17681136234202]
  設計上の違いを再検討し、スパースCNNが達成できることの限界をテストする。 本稿では,このギャップを埋めるために,適応受容場(親和性)と適応関係という2つの重要な要素を提案する。 この調査により、軽量モジュールを統合するネットワークのファミリーであるOmni-Adaptive 3D CNN(OA-CNN)が開発された。
  論文  参考訳（メタデータ） (2024-03-21T14:06:38Z)
• Reusing Convolutional Neural Network Models through Modularization and Composition [22.823870645316397]
  我々はCNNSplitterとGradSplitterという2つのモジュール化手法を提案する。 CNNSplitterは、トレーニングされた畳み込みニューラルネットワーク(CNN)モデルを、小さな再利用可能なモジュールとして$N$に分解する。 生成されたモジュールは、既存のCNNモデルにパッチを当てたり、コンポジションを通じて新しいCNNモデルを構築するために再利用することができる。
  論文  参考訳（メタデータ） (2023-11-08T03:18:49Z)
• A Proximal Algorithm for Network Slimming [2.8148957592979427]
  畳み込みニューラルネットワーク(CNN)の一般的なチャネルプルーニング法は、CNNの訓練に段階的な降下を用いる。 我々は、CNNをスパースで正確な構造に向けて訓練するための、近位NSと呼ばれる代替アルゴリズムを開発した。 実験の結果,1ラウンドのトレーニングの後,近位NSは競争精度と圧縮性を備えたCNNが得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-02T23:34:12Z)
• The Power of Linear Combinations: Learning with Random Convolutions [2.0305676256390934]
  現代のCNNは、ランダムな(空間的な)畳み込みフィルタを更新することなく、高いテスト精度を達成することができる。 これらのランダムフィルタの組み合わせは、結果の操作を暗黙的に正規化することができる。 私たちは3ドル3セントの畳み込みを学習することで比較的小さな利益しか得られないが、学習率はカーネルサイズに比例して増加する。
  論文  参考訳（メタデータ） (2023-01-26T19:17:10Z)
• Patching Weak Convolutional Neural Network Models through Modularization and Composition [19.986199290508925]
  分類タスクのための畳み込みニューロンネットワーク(CNN)モデルは、しばしば不満足に機能する。 圧縮モジュラー化手法であるCNNSplitterを提案し、$N$クラス分類のための強力なCNNモデルを$N$より小さなCNNモジュールに分解する。 CNNSplitterは、モジュール化と構成により弱いCNNモデルにパッチを適用できることを示し、ロバストなCNNモデルを開発するための新しいソリューションを提供する。
  論文  参考訳（メタデータ） (2022-09-11T15:26:16Z)
• PDO-s3DCNNs: Partial Differential Operator Based Steerable 3D CNNs [69.85869748832127]
  本研究では、3Dフィルタをモデル化するために偏微分演算子(PDO)を用い、PDO-s3DCNNと呼ばれる一般的な3D CNNを導出する。 等変フィルタは線形制約の対象であり, 様々な条件下で効率的に解けることを示す。
  論文  参考訳（メタデータ） (2022-08-07T13:37:29Z)
• Spherical Transformer: Adapting Spherical Signal to CNNs [53.18482213611481]
  Spherical Transformerは、球状信号を標準CNNで直接処理できるベクトルに変換できます。 我々は,球面MNIST認識,3次元オブジェクト分類,全方向画像セマンティックセグメンテーションの課題に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2021-01-11T12:33:16Z)
• 3D CNNs with Adaptive Temporal Feature Resolutions [83.43776851586351]
  similarity Guided Sampling (SGS)モジュールは既存のCNNアーキテクチャにプラグインできる。 SGSは、時間的特徴の類似性を学び、類似した特徴をまとめることで、3D CNNに権限を与える。 評価の結果,提案モジュールは精度を保ちながら計算コスト(GFLOP)を半分に減らし,最先端化を実現していることがわかった。
  論文  参考訳（メタデータ） (2020-11-17T14:34:05Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
  本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。 我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
  論文  参考訳（メタデータ） (2020-06-26T04:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。