論文の概要: TAOTF: A Two-stage Approximately Orthogonal Training Framework in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2211.13902v1
• Date: Fri, 25 Nov 2022 05:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 14:58:18.315514
• Title: TAOTF: A Two-stage Approximately Orthogonal Training Framework in Deep Neural Networks
• Title（参考訳）: TAOTF:ディープニューラルネットワークにおける2段階ほぼ直交トレーニングフレームワーク
• Authors: Taoyong Cui, Jianze Li, Yuhan Dong and Li Liu
• Abstract要約: 本稿では,ノイズの多いデータシナリオにおいて,この問題を解決するための2段階のほぼ直交学習フレームワーク(TAOTF)を提案する。 提案手法は,本手法が既存の手法よりも安定かつ優れた性能を発揮することを示す。
• 参考スコア（独自算出の注目度）: 8.663152066918821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The orthogonality constraints, including the hard and soft ones, have been used to normalize the weight matrices of Deep Neural Network (DNN) models, especially the Convolutional Neural Network (CNN) and Vision Transformer (ViT), to reduce model parameter redundancy and improve training stability. However, the robustness to noisy data of these models with constraints is not always satisfactory. In this work, we propose a novel two-stage approximately orthogonal training framework (TAOTF) to find a trade-off between the orthogonal solution space and the main task solution space to solve this problem in noisy data scenarios. In the first stage, we propose a novel algorithm called polar decomposition-based orthogonal initialization (PDOI) to find a good initialization for the orthogonal optimization. In the second stage, unlike other existing methods, we apply soft orthogonal constraints for all layers of DNN model. We evaluate the proposed model-agnostic framework both on the natural image and medical image datasets, which show that our method achieves stable and superior performances to existing methods.
• Abstract（参考訳）: 硬度や軟度を含む直交性制約は、ディープニューラルネットワーク(dnn)モデルの重み行列、特に畳み込みニューラルネットワーク(cnn)と視覚トランスフォーマー(vit)を正規化し、モデルパラメータ冗長性を低減し、トレーニング安定性を向上させるために用いられてきた。 しかし、制約のあるモデルのノイズの多いデータに対する堅牢性は必ずしも満足できるとは限らない。 本研究では,この問題をノイズの多いデータシナリオで解くために,直交解空間と主タスク解空間とのトレードオフを見つけるための2段階ほぼ直交学習フレームワーク(TAOTF)を提案する。 最初の段階では, 偏極分解に基づく直交初期化(PDOI)と呼ばれる新しいアルゴリズムを提案し, 直交最適化の優れた初期化を求める。 第二段階では、他の既存手法とは異なり、DNNモデルのすべての層に対してソフト直交制約を適用する。 提案手法は自然画像と医用画像データセットの両方においてモデル非依存の枠組みを評価し,既存の手法よりも安定して優れた性能が得られることを示す。

関連論文リスト

• A Primal-dual algorithm for image reconstruction with ICNNs [3.4797100095791706]
  我々は、正規化器が入力ニューラルネットワーク(ICNN)によってパラメータ化されるデータ駆動変分フレームワークにおける最適化問題に対処する。 勾配に基づく手法はそのような問題を解決するのに一般的に用いられるが、非滑らかさを効果的に扱うのに苦労する。 提案手法は, 速度と安定性の両方の観点から, 下位段階の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-16T10:36:29Z)
• Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
  モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。 提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-07T19:02:13Z)
• A Two-Stage Training Method for Modeling Constrained Systems With Neural Networks [3.072340427031969]
  本稿では,ニューラルネットワークの2段階学習法について詳述する。 最初の段階は、制約違反の尺度を最小化することで、実現可能なNNパラメータを見つけることを目的としている。 第2段階は、許容領域内に留まりながら損失関数を最小化することにより、最適なNNパラメータを見つけることを目的としている。
  論文  参考訳（メタデータ） (2024-03-05T07:37:47Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• An alternative approach to train neural networks using monotone variational inequality [22.320632565424745]
  本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。 我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
  論文  参考訳（メタデータ） (2022-02-17T19:24:20Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)
• Dense Non-Rigid Structure from Motion: A Manifold Viewpoint [162.88686222340962]
  Non-Rigid Structure-from-Motion (NRSfM) 問題は、複数のフレームにまたがる2次元特徴対応から変形物体の3次元形状を復元することを目的としている。 提案手法は,ノイズに対する精度,スケーラビリティ,堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2020-06-15T09:15:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。