論文の概要: Convolutional Nets Versus Vision Transformers for Diabetic Foot Ulcer Classification

• arxiv url: http://arxiv.org/abs/2111.06894v1
• Date: Fri, 12 Nov 2021 18:19:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 06:58:41.739310
• Title: Convolutional Nets Versus Vision Transformers for Diabetic Foot Ulcer Classification
• Title（参考訳）: 糖尿病性足潰瘍分類における畳み込みネットと視覚トランスフォーマー
• Authors: Adrian Galdran, Gustavo Carneiro, Miguel A. Gonz\'alez Ballester
• Abstract要約: 本稿では、確立された畳み込みニューラルネットワーク(CNN)と、最近導入された糖尿病足の潰瘍分類のための視覚変換器を比較した。 実験によると、現代のCNNは、低データ状態においてトランスフォーマーよりも優れたパフォーマンスを保っている。
• 参考スコア（独自算出の注目度）: 19.338350044289736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper compares well-established Convolutional Neural Networks (CNNs) to recently introduced Vision Transformers for the task of Diabetic Foot Ulcer Classification, in the context of the DFUC 2021 Grand-Challenge, in which this work attained the first position. Comprehensive experiments demonstrate that modern CNNs are still capable of outperforming Transformers in a low-data regime, likely owing to their ability for better exploiting spatial correlations. In addition, we empirically demonstrate that the recent Sharpness-Aware Minimization (SAM) optimization algorithm considerably improves the generalization capability of both kinds of models. Our results demonstrate that for this task, the combination of CNNs and the SAM optimization process results in superior performance than any other of the considered approaches.
• Abstract（参考訳）: 本稿では,すでに確立されている畳み込みニューラルネットワーク(CNN)と,最近導入された糖尿病性足の潰瘍分類のための視覚変換器を,DFUC 2021 Grand-Challengeの文脈で比較する。 包括的実験により、現代のCNNは、空間的相関をうまく活用する能力のため、低データ状態においてトランスフォーマーよりも優れた性能を発揮することが示されている。 さらに,最近のspikeness-aware minimization (sam) 最適化アルゴリズムが,両モデルの一般化能力を大幅に向上させることを示す。 この結果から,CNNとSAMの最適化処理の組み合わせにより,検討した他のどの手法よりも優れた性能が得られることが示された。

関連論文リスト

• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Layerwise complexity-matched learning yields an improved model of cortical area V2 [12.861402235256207]
  ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドを訓練した。 我々は,連続する層に独立して機能する自己指導型トレーニング手法を開発した。 本モデルは, 霊長類領域V2における選択性特性と神経活動に適合していることが示唆された。
  論文  参考訳（メタデータ） (2023-12-18T18:37:02Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
  最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。 視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
  論文  参考訳（メタデータ） (2022-07-05T15:39:29Z)
• Kaggle Kinship Recognition Challenge: Introduction of Convolution-Free Model to boost conventional [0.0]
  そこで我々は,CNNと組み合わせたベース分類器として視覚変換器を提案する。 我々は既存のCNNモデルの上にビジョントランスフォーマーモデルの変種を実装・最適化することで提案したアイデアを検証する。 我々は,高度に最適化されたCNNアンサンブルが,ビジョントランスフォーマーモデルの変種と簡単に組み合わさることで,ROCスコアの大幅な向上を達成できることを実証した。
  論文  参考訳（メタデータ） (2022-06-11T10:22:28Z)
• Universal Transformer Hawkes Process with Adaptive Recursive Iteration [4.624987488467739]
  非同期イベントシーケンスは、自然界に広く分布し、地震記録、ソーシャルメディアでのユーザ活動など人間の活動も行われている。 これらの不規則なデータから情報を抽出する方法は、研究者が注目する永続的なトピックである。 最も有用なモデルの1つは点過程モデルであり、それに基づいて、研究者は多くの顕著な結果を得る。 近年、ニューラルネットワークの基礎となるポイントプロセスモデル、特にリカレントニューラルネットワーク(RNN)が提案され、従来のモデルと比較され、その性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-12-29T09:55:12Z)
• Improving Time Series Classification Algorithms Using Octave-Convolutional Layers [0.0]
  我々は,OctoConvとの畳み込みに代えて,時系列分類タスクの精度を大幅に向上させることを実験的に示した。 さらに、更新されたALSTM-OctFCNは、上位2つの時系列分類器と統計的に同一である。
  論文  参考訳（メタデータ） (2021-09-28T13:12:09Z)
• A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
  畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。 トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。 本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
  論文  参考訳（メタデータ） (2021-08-30T06:09:02Z)
• Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
  実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。 我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。 近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
  論文  参考訳（メタデータ） (2021-05-31T16:20:03Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。