Fugu-MT 論文翻訳(概要): Convolutional Initialization for Data-Efficient Vision Transformers

論文の概要: Convolutional Initialization for Data-Efficient Vision Transformers

arxiv url: http://arxiv.org/abs/2401.12511v1
Date: Tue, 23 Jan 2024 06:03:16 GMT
ステータス: 処理完了
システム内更新日: 2024-01-24 16:44:21.584601
Title: Convolutional Initialization for Data-Efficient Vision Transformers
Title（参考訳）: データ効率の良い視覚変換器の畳み込み初期化
Authors: Jianqiao Zheng, Xueqian Li, Simon Lucey
Abstract要約: 小さなデータセット上のビジョントランスフォーマーネットワークのトレーニングには課題がある。 CNNはアーキテクチャ上の帰納バイアスを利用して最先端のパフォーマンスを達成することができる。我々のアプローチは、ランダムなインパルスフィルタがCNNの学習フィルタとほぼ同等の性能を達成できるという発見に動機づけられている。
参考スコア（独自算出の注目度）: 38.63299194992718
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Training vision transformer networks on small datasets poses challenges. In contrast, convolutional neural networks (CNNs) can achieve state-of-the-art performance by leveraging their architectural inductive bias. In this paper, we investigate whether this inductive bias can be reinterpreted as an initialization bias within a vision transformer network. Our approach is motivated by the finding that random impulse filters can achieve almost comparable performance to learned filters in CNNs. We introduce a novel initialization strategy for transformer networks that can achieve comparable performance to CNNs on small datasets while preserving its architectural flexibility.
Abstract（参考訳）: 小さなデータセット上のビジョントランスフォーマーネットワークのトレーニングには課題がある。対照的に、畳み込みニューラルネットワーク(CNN)は、アーキテクチャの帰納バイアスを利用して最先端のパフォーマンスを達成することができる。本稿では,この帰納バイアスを視覚トランスネットワークにおける初期化バイアスとして再解釈できるかどうかを検討する。提案手法は, ランダムインパルスフィルタがCNNの学習フィルタとほぼ同等の性能を達成できることを示す。アーキテクチャの柔軟性を保ちながら、小さなデータセット上でCNNに匹敵する性能を達成できるトランスフォーマーネットワークの新たな初期化戦略を導入する。

関連論文リスト

DuoFormer: Leveraging Hierarchical Visual Representations by Local and Global Attention [1.5624421399300303]
本稿では、畳み込みニューラルネットワーク(CNN)の特徴抽出機能と視覚変換器(ViT)の高度な表現可能性とを包括的に統合した新しい階層型トランスフォーマーモデルを提案する。インダクティブバイアスの欠如と、ViTの広範囲なトレーニングデータセットへの依存に対処するため、我々のモデルはCNNバックボーンを使用して階層的な視覚表現を生成する。これらの表現は、革新的なパッチトークン化を通じてトランスフォーマー入力に適合する。
論文参考訳（メタデータ） (2024-07-18T22:15:35Z)
Structured Initialization for Attention in Vision Transformers [34.374054040300805]
畳み込みニューラルネットワーク(CNN)は、アーキテクチャ上の帰納バイアスを持ち、小規模な問題に対してうまく機能する。我々は、CNNに固有のアーキテクチャバイアスを、ViT内の初期化バイアスとして再解釈することができると論じる。この洞察は、ViTsが大規模アプリケーションに対する柔軟性を維持しながら、小規模問題でも同じように機能する権限を付与する上で重要である。
論文参考訳（メタデータ） (2024-04-01T14:34:47Z)
Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
論文参考訳（メタデータ） (2024-02-23T19:34:06Z)
NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning [25.197394237526865]
本稿では,トランスフォーマーに基づく汎用ニューラルネットワーク表現学習モデル NAR-Former V2 を提案する。具体的には、ネットワークをグラフとして取り、簡単なトークン化器を設計して、ネットワークをシーケンスにエンコードする。我々は,GNNの帰納的表現学習能力をTransformerに組み込んだ。
論文参考訳（メタデータ） (2023-06-19T09:11:04Z)
Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文参考訳（メタデータ） (2022-03-29T21:18:47Z)
Implicit Equivariance in Convolutional Networks [1.911678487931003]
IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
論文参考訳（メタデータ） (2021-11-28T14:44:17Z)
Can Vision Transformers Perform Convolution? [78.42076260340869]
画像パッチを入力とする単一のViT層が任意の畳み込み操作を構成的に実行可能であることを示す。我々は、CNNを表現するビジョントランスフォーマーのヘッド数を低くする。
論文参考訳（メタデータ） (2021-11-02T03:30:17Z)
Container: Context Aggregation Network [83.12004501984043]
最近の発見は、従来の畳み込みやトランスフォーマーコンポーネントを使わずに、シンプルなベースのソリューションが効果的な視覚表現を生成できることを示している。マルチヘッドコンテキストアグリゲーションのための汎用ビルディングブロックCONText Ion NERtwokを提案する。より大規模な入力画像解像度に依存する下流タスクにはスケールしないTransformerベースの手法とは対照的に、当社の効率的なネットワークであるModellightは、オブジェクト検出やインスタンスセグメンテーションネットワークに利用することができる。
論文参考訳（メタデータ） (2021-06-02T18:09:11Z)
On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-16T18:39:04Z)
Curriculum By Smoothing [52.08553521577014]
畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
論文参考訳（メタデータ） (2020-03-03T07:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。