論文の概要: Trainable Loss Weights in Super-Resolution

• arxiv url: http://arxiv.org/abs/2301.10575v1
• Date: Wed, 25 Jan 2023 13:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 15:10:00.823342
• Title: Trainable Loss Weights in Super-Resolution
• Title（参考訳）: 超解像におけるトレーニング可能な損失重量
• Authors: Arash Chaichi Mellatshahi, Shohreh Kasaei
• Abstract要約: 本稿では,画素単位の損失に対する新たな重み付け法を提案する。 この手法により、画像の一般的な構造に基づいてトレーニング可能な重みを使用できる。 また、畳み込みニューラルネットワークにより直接重みを推定できるように、損失重量の比較基準を導入する。
• 参考スコア（独自算出の注目度）: 15.264479939542756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, research on super-resolution has primarily focused on the development of unsupervised models, blind networks, and the use of optimization methods in non-blind models. But, limited research has discussed the loss function in the super-resolution process. The majority of those studies have only used perceptual similarity in a conventional way. This is while the development of appropriate loss can improve the quality of other methods as well. In this article, a new weighting method for pixel-wise loss is proposed. With the help of this method, it is possible to use trainable weights based on the general structure of the image and its perceptual features while maintaining the advantages of pixel-wise loss. Also, a criterion for comparing weights of loss is introduced so that the weights can be estimated directly by a convolutional neural network using this criterion. In addition, in this article, the expectation-maximization method is used for the simultaneous estimation super-resolution network and weighting network. In addition, a new activation function, called "FixedSum", is introduced which can keep the sum of all components of vector constants while keeping the output components between zero and one. As shown in the experimental results section, weighted loss by the proposed method leads to better results than the unweighted loss in both signal-to-noise and perceptual similarity senses.
• Abstract（参考訳）: 近年,スーパーレゾリューションの研究は主に教師なしモデル,ブラインドネットワーク,非盲目的モデルにおける最適化手法の利用に焦点が当てられている。 しかし、限定的な研究により、超解像過程における損失関数が議論されている。 これらの研究の大半は、従来の方法で知覚的類似性のみを用いている。 これは、適切な損失の開発は、他の方法の品質も改善できる一方である。 本稿では,画素単位の損失に対する新たな重み付け法を提案する。 この方法の助けを借りて、画像の一般構造とその知覚的特徴に基づくトレーニング可能な重みを、画素単位での損失の利点を保ちながら使用することが可能である。 また、この基準を用いて畳み込みニューラルネットワークにより直接重みを推定できるように、損失の重みを比較する基準を導入する。 また,本論文では,超解像ネットワークと重み付けネットワークの同時推定に期待最大化法を適用した。 さらに、「fixedsum」と呼ばれる新しいアクティベーション関数が導入され、出力成分を0と1の間に保ちながら、ベクトル定数のすべての成分の和を保持することができる。 実験結果セクションで示されるように,提案手法による重み付き損失は,信号対雑音感覚と知覚的類似性感覚の両方において,重み付き損失よりも優れた結果をもたらす。

関連論文リスト

• Semantic Ensemble Loss and Latent Refinement for High-Fidelity Neural Image Compression [58.618625678054826]
  本研究は、最適な視覚的忠実度のために設計された強化されたニューラル圧縮手法を提案する。 我々は,洗練されたセマンティック・アンサンブル・ロス,シャルボニエ・ロス,知覚的損失,スタイル・ロス,非バイナリ・ディバイザ・ロスを組み込んだモデルを構築した。 実験により,本手法は神経画像圧縮の統計的忠実度を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2024-01-25T08:11:27Z)
• Random Weights Networks Work as Loss Prior Constraint for Image Restoration [50.80507007507757]
  「画像復元の優先制約としてランダムウェイトネットワークを機能させることができる」という信念を提示する。」 我々の信念は、計算コストのトレーニングやテストなしに、既存のネットワークに直接挿入することができる。 強調しておきたいのは、損失関数の領域を刺激し、現在無視されている状態を保存することです。
  論文  参考訳（メタデータ） (2023-03-29T03:43:51Z)
• PathProx: A Proximal Gradient Algorithm for Weight Decay Regularized Deep Neural Networks [25.114642281756495]
  ウェイト崩壊(Weight decay)は、ディープラーニングにおいて最も広く使われている正規化形式の一つである。 本稿では、勾配勾配勾配は、この目的に対して非効率なアルゴリズムであると主張している。 ReLUアクティベーションを持つニューラルネットワークの場合、重み劣化対象に対する解は異なる目的の解と等価である。
  論文  参考訳（メタデータ） (2022-10-06T17:22:40Z)
• BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
  量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。 コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。 本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
  論文  参考訳（メタデータ） (2022-07-04T13:25:49Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• Quantized Proximal Averaging Network for Analysis Sparse Coding [23.080395291046408]
  反復アルゴリズムをトレーニング可能なネットワークに展開し,量子化前にスパーシティの学習を容易にする。 圧縮画像回復と磁気共鳴画像再構成への応用を実証する。
  論文  参考訳（メタデータ） (2021-05-13T12:05:35Z)
• Generic Perceptual Loss for Modeling Structured Output Dependencies [78.59700528239141]
  トレーニングされた重みではなく、ネットワーク構造が重要であることを示す。 我々は、出力の構造化依存関係をモデル化するためにランダムに重み付けされたディープcnnが使用できることを実証する。
  論文  参考訳（メタデータ） (2021-03-18T23:56:07Z)
• Preprint: Norm Loss: An efficient yet effective regularization method for deep neural networks [7.214681039134488]
  斜め多様体に基づく重み付き軟規則化法を提案する。 本手法は, CIFAR-10, CIFAR-100, ImageNet 2012データセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-03-11T10:24:49Z)
• The Golden Ratio of Learning and Momentum [0.5076419064097732]
  本稿では,シナプスにおけるニューラル信号処理による情報理論的損失関数を提案する。 すべての結果は、損失、学習率、モーメントが密接に関連していることを示している。
  論文  参考訳（メタデータ） (2020-06-08T17:08:13Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions [1.2891210250935146]
  我々は,多部損失関数に対する関数重みを動的に変化させる,SoftAdaptと呼ばれる手法群を提案する。 SoftAdaptは数学的に直感的で、計算効率が良く、実装も簡単です。
  論文  参考訳（メタデータ） (2019-12-27T22:23:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。