論文の概要: DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform

• arxiv url: http://arxiv.org/abs/2001.08517v4
• Date: Tue, 7 Apr 2020 10:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-07 10:01:15.729041
• Title: DCT-Conv: Coding filters in convolutional networks with Discrete Cosine Transform
• Title（参考訳）: DCT-Conv:離散コサイン変換を用いた畳み込みネットワークにおける符号化フィルタ
• Authors: Karol Ch\k{e}ci\'nski, Pawe{\l} Wawrzy\'nski
• Abstract要約: スペクトル選択成分をオフにすることで、ネットワークのトレーニングされた重みの数を減らし、その性能にどのように影響するかを分析する。 実験により、訓練されたDCTパラメータでフィルタをコーディングすると、従来の畳み込みよりも改善されることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural networks are based on a huge number of trained weights. Consequently, they are often data-greedy, sensitive to overtraining, and learn slowly. We follow the line of research in which filters of convolutional neural layers are determined on the basis of a smaller number of trained parameters. In this paper, the trained parameters define a frequency spectrum which is transformed into convolutional filters with Inverse Discrete Cosine Transform (IDCT, the same is applied in decompression from JPEG). We analyze how switching off selected components of the spectra, thereby reducing the number of trained weights of the network, affects its performance. Our experiments show that coding the filters with trained DCT parameters leads to improvement over traditional convolution. Also, the performance of the networks modified this way decreases very slowly with the increasing extent of switching off these parameters. In some experiments, a good performance is observed when even 99.9% of these parameters are switched off.
• Abstract（参考訳）: 畳み込みニューラルネットワークは、膨大な数のトレーニングされた重みに基づいている。 そのため、データ欲が強く、過剰トレーニングに敏感で、ゆっくりと学習することが多い。 我々は、少数の訓練されたパラメータに基づいて畳み込みニューラルネットワーク層のフィルタを決定する研究の行に従っている。 本稿では,逆離散コサイン変換(IDCT)を用いた畳み込みフィルタに変換された周波数スペクトルを定義する。 スペクトルの選択された成分の切り替え方法を分析し、ネットワークのトレーニングされた重み付けの数を減らし、その性能に影響を及ぼす。 実験により,dctパラメータを訓練したフィルタの符号化が従来の畳み込みよりも改善することを示した。 また、この方法で修正されたネットワークの性能は、これらのパラメータをオフにすることで大幅に低下する。 いくつかの実験では、99.9%のパラメータをオフにすると良いパフォーマンスが観察される。

関連論文リスト

• Group Orthogonalization Regularization For Vision Models Adaptation and Robustness [31.43307762723943]
  同じ層内のフィルタ群間の正則性を促進する計算効率の良い正規化手法を提案する。 実験により,近年の拡散モデルと視覚変換器(ViT)の適応手法に組み込むと,この正規化により下流タスクの性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-06-16T17:53:16Z)
• Rotation-Scale Equivariant Steerable Filters [1.213915839836187]
  生検組織のデジタル組織像は、任意の向きと倍率で撮影でき、異なる解像度で保存できる。 本稿では、ステアブルフィルタとスケール空間理論を組み込んだ回転スケール可変フィルタ(RSESF)を提案する。 我々の手法は他の手法よりも優れており、トレーニング可能なパラメータは少なく、GPUリソースも少ない。
  論文  参考訳（メタデータ） (2023-04-10T14:13:56Z)
• Complexity Reduction of Learned In-Loop Filtering in Video Coding [12.06039429078762]
  ビデオ符号化では、インループフィルタが再構成されたビデオフレームに適用され、その知覚的品質が向上し、出力のためにフレームを格納する。 提案手法は,学習したインループフィルタの複雑性低減のために,スポーシティと構造化プルーニングを組み合わせた新しい手法を用いている。
  論文  参考訳（メタデータ） (2022-03-16T14:34:41Z)
• Batch Normalization Tells You Which Filter is Important [49.903610684578716]
  我々は,事前学習したCNNのBNパラメータに基づいて,各フィルタの重要性を評価することによって,簡易かつ効果的なフィルタ刈取法を提案する。 CIFAR-10とImageNetの実験結果から,提案手法が優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-12-02T12:04:59Z)
• Variational Autoencoders: A Harmonic Perspective [79.49579654743341]
  本研究では,高調波解析の観点から変分オートエンコーダ(VAE)について検討する。 VAEのエンコーダ分散は、VAEエンコーダとデコーダニューラルネットワークによってパラメータ化された関数の周波数内容を制御する。
  論文  参考訳（メタデータ） (2021-05-31T10:39:25Z)
• FILTRA: Rethinking Steerable CNN by Filter Transform [59.412570807426135]
  操舵可能なCNNの問題は群表現論の側面から研究されている。 フィルタ変換によって構築されたカーネルは群表現論でも解釈可能であることを示す。 この解釈は、ステアブルCNN理論のパズルを完成させ、ステアブル畳み込み演算子を実装するための、新しく簡単なアプローチを提供する。
  論文  参考訳（メタデータ） (2021-05-25T03:32:34Z)
• Decoupled Dynamic Filter Networks [85.38058820176047]
  これらの欠点を同時に解決できるDDF(Decoupled Dynamic Filter)を提案します。 最近の注目の高まりに触発されて、DDFは深度ワイドなダイナミックフィルタを空間的およびチャネル的ダイナミックフィルタに分離する。 分類ネットワークにおける標準畳み込みをDFFに置き換える際の性能向上を観察する。
  論文  参考訳（メタデータ） (2021-04-29T04:55:33Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)
• The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
  畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。 ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。 本研究は,広範囲な画像復号化実験により評価した。
  論文  参考訳（メタデータ） (2020-06-03T16:50:54Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。