論文の概要: An Effective Weight Initialization Method for Deep Learning: Application to Satellite Image Classification

• arxiv url: http://arxiv.org/abs/2406.00348v1
• Date: Sat, 1 Jun 2024 07:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 07:24:46.720927
• Title: An Effective Weight Initialization Method for Deep Learning: Application to Satellite Image Classification
• Title（参考訳）: ディープラーニングのための効果的な重み初期化法:衛星画像分類への応用
• Authors: Wadii Boulila, Eman Alshanqiti, Ayyub Alzahem, Anis Koubaa, Nabil Mlaiki,
• Abstract要約: 重み初期化技術は伝統的に、広範囲なデータセットでトレーニングする前にネットワークの重みを初期化する。 本研究では,衛星画像分類の文脈において,新しい重み初期化手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)モデルの前方・後方通過において,数学的に詳細なものである。
• 参考スコア（独自算出の注目度）: 0.995313069446686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing interest in satellite imagery has triggered the need for efficient mechanisms to extract valuable information from these vast data sources, providing deeper insights. Even though deep learning has shown significant progress in satellite image classification. Nevertheless, in the literature, only a few results can be found on weight initialization techniques. These techniques traditionally involve initializing the networks' weights before training on extensive datasets, distinct from fine-tuning the weights of pre-trained networks. In this study, a novel weight initialization method is proposed in the context of satellite image classification. The proposed weight initialization method is mathematically detailed during the forward and backward passes of the convolutional neural network (CNN) model. Extensive experiments are carried out using six real-world datasets. Comparative analyses with existing weight initialization techniques made on various well-known CNN models reveal that the proposed weight initialization technique outperforms the previous competitive techniques in classification accuracy. The complete code of the proposed technique, along with the obtained results, is available at https://github.com/WadiiBoulila/Weight-Initialization
• Abstract（参考訳）: 衛星画像への関心の高まりは、これらの膨大なデータソースから貴重な情報を抽出する効率的なメカニズムの必要性を引き起こし、より深い洞察を与えている。 深層学習は衛星画像の分類に大きな進歩を見せている。 それにもかかわらず、文献では、重量初期化技術では、わずかな結果しか見つからない。 これらのテクニックは伝統的に、トレーニング前のネットワークの重み付けを初期化し、事前訓練されたネットワークの重み付けを微調整することとは異なる。 本研究では,衛星画像分類の文脈において,新しい重み初期化法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)モデルの前方・後方通過において,数学的に詳細なものである。 6つの実世界のデータセットを用いて大規模な実験を行う。 既存のCNNモデルを用いた重み初期化手法との比較分析により,提案手法は従来の競合技術よりも精度が高いことがわかった。 提案手法の全コードと得られた結果がhttps://github.com/WadiiBoulila/Weight-Initializationで公開されている。

関連論文リスト

• Efficient Training with Denoised Neural Weights [65.14892033932895]
  この研究は、初期化のために神経重みを合成するウェイトジェネレータを構築するための新しい一歩を踏み出した。 本稿では,モデル重みの収集を容易にするために,GANを用いた画像間翻訳タスクを例に挙げる。 拡散モデルによって予測される重み付き画像翻訳モデルを初期化することにより、トレーニングは43.3秒しか必要としない。
  論文  参考訳（メタデータ） (2024-07-16T17:59:42Z)
• Initializing Models with Larger Ones [76.41561758293055]
  事前訓練された大モデルから重みのサブセットを選択することにより、より小さなモデルを初期化する手法である重み選択を導入する。 実験により, 重量選択は小型モデルの性能を著しく向上し, トレーニング時間を短縮できることが示された。
  論文  参考訳（メタデータ） (2023-11-30T18:58:26Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
  本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。 提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
  論文  参考訳（メタデータ） (2022-04-26T08:09:47Z)
• Neural networks with late-phase weights [66.72777753269658]
  学習後期に重みのサブセットを組み込むことで,SGDの解をさらに改善できることを示す。 学習の終わりに、重み空間における空間平均を取ることにより、1つのモデルを取得する。
  論文  参考訳（メタデータ） (2020-07-25T13:23:37Z)
• Dataset Condensation with Gradient Matching [36.14340188365505]
  本研究では,大規模なデータセットを,深層ニューラルネットワークをスクラッチからトレーニングするための情報的合成サンプルの小さなセットに凝縮させることを学習する,データセット凝縮という,データ効率のよい学習のためのトレーニングセット合成手法を提案する。 いくつかのコンピュータビジョンベンチマークでその性能を厳格に評価し、最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-10T16:30:52Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• A Bayesian approach for initialization of weights in backpropagation neural net with application to character recognition [0.9137554315375919]
  距離論的なアプローチは、重みを互いに依存する正規変数によってモデル化された測定として考えるために用いられる。 提案手法は,バックプロパゲーション学習アルゴリズムの収束率の向上を示す。
  論文  参考訳（メタデータ） (2020-04-04T06:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。