論文の概要: On Convolutional Vision Transformers for Yield Prediction
- arxiv url: http://arxiv.org/abs/2402.05557v1
- Date: Thu, 8 Feb 2024 10:50:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 15:42:48.590436
- Title: On Convolutional Vision Transformers for Yield Prediction
- Title(参考訳): 降伏予測のための畳み込み視覚トランスについて
- Authors: Alvin Inderka, Florian Huber, Volker Steinhage
- Abstract要約: コンボリューション・ビジョン・トランスフォーマー (CvT) は、現在多くのビジョンタスクにおいて最先端の結果を達成しているビジョン・トランスフォーマーを評価するためにテストされている。
XGBoostやCNNなど,広くテストされているメソッドよりもパフォーマンスが悪くなるが,Transformerが収量予測を改善する可能性を示唆している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While a variety of methods offer good yield prediction on histogrammed remote
sensing data, vision Transformers are only sparsely represented in the
literature. The Convolution vision Transformer (CvT) is being tested to
evaluate vision Transformers that are currently achieving state-of-the-art
results in many other vision tasks. CvT combines some of the advantages of
convolution with the advantages of dynamic attention and global context fusion
of Transformers. It performs worse than widely tested methods such as XGBoost
and CNNs, but shows that Transformers have potential to improve yield
prediction.
- Abstract(参考訳): 様々な手法がヒストグラムを用いたリモートセンシングデータに対して良好な収率予測を提供する一方で、視覚変換器は文献でのみ疎らに表現される。
畳み込み型視覚トランスフォーマー(cvt)は、現在最先端の結果を成し遂げている視覚トランスフォーマーを他の多くの視覚タスクで評価するためにテストされている。
CvTは、コンボリューションの利点とダイナミックアテンションとトランスフォーマーのグローバルコンテキスト融合の利点を組み合わせる。
XGBoostやCNNなど,広くテストされているメソッドよりもパフォーマンスが悪いが,Transformerは収量予測を改善する可能性がある。
関連論文リスト
- Inspecting Explainability of Transformer Models with Additional
Statistical Information [27.04589064942369]
Cheferらは、各イメージパッチの重要性を示すために注意層を組み合わせることで、視覚およびマルチモーダルタスク上のトランスフォーマーを効果的に可視化することができる。
しかし、Swin Transformerのような他の変種のTransformerに適用する場合、この方法は予測対象に集中できない。
本手法は,Swin Transformer と ViT が持つ説明可能性の理解に有効であることを示す。
論文 参考訳(メタデータ) (2023-11-19T17:22:50Z) - Towards Lightweight Transformer via Group-wise Transformation for
Vision-and-Language Tasks [126.33843752332139]
本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。
LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。
実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
論文 参考訳(メタデータ) (2022-04-16T11:30:26Z) - A ConvNet for the 2020s [94.89735578018099]
ビジョントランスフォーマー(ViT)は、最先端の画像分類モデルとしてすぐにConvNetsに取って代わった。
これは、いくつかのConvNetプリエントを再導入した階層型トランスフォーマーであり、トランスフォーマーは一般的なビジョンバックボーンとして実用的である。
本研究では、設計空間を再検討し、純粋なConvNetが達成できることの限界をテストする。
論文 参考訳(メタデータ) (2022-01-10T18:59:10Z) - Semi-Supervised Vision Transformers [76.83020291497895]
半教師付き画像分類のための視覚変換器の訓練について検討する。
半教師付き ImageNet 設定では,ビジョントランスフォーマーの性能が良くない。
CNNは小さなラベル付きデータ構造において優れた結果を得る。
論文 参考訳(メタデータ) (2021-11-22T09:28:13Z) - Can Vision Transformers Perform Convolution? [78.42076260340869]
画像パッチを入力とする単一のViT層が任意の畳み込み操作を構成的に実行可能であることを示す。
我々は、CNNを表現するビジョントランスフォーマーのヘッド数を低くする。
論文 参考訳(メタデータ) (2021-11-02T03:30:17Z) - ConvNets vs. Transformers: Whose Visual Representations are More
Transferable? [49.62201738334348]
本研究では,15個のシングルタスクおよびマルチタスク性能評価において,ConvNetと視覚変換器の伝達学習能力について検討する。
13の下流タスクでTransformerベースのバックボーンの一貫性のあるアドバンテージを観察した。
論文 参考訳(メタデータ) (2021-08-11T16:20:38Z) - Glance-and-Gaze Vision Transformer [13.77016463781053]
我々は Glance-and-Gaze Transformer (GG-Transformer) という新しい視覚変換器を提案する。
自然の場面で物体を認識するとき、人間のGlance and Gazeの行動によって動機付けられている。
提案手法は,従来の最先端変圧器よりも一貫した性能を実現することを実証的に実証する。
論文 参考訳(メタデータ) (2021-06-04T06:13:47Z) - Gaze Estimation using Transformer [14.26674946195107]
我々は、純粋変換器とハイブリッド変換器の2種類の視覚変換器について考察する。
私たちはまず、人気の高いViTに従い、画像から視線を推定するために純粋なトランスフォーマーを使用します。
一方、我々は畳み込み層を保存し、CNNとトランスフォーマーを統合する。
論文 参考訳(メタデータ) (2021-05-30T04:06:29Z) - CvT: Introducing Convolutions to Vision Transformers [44.74550305869089]
畳み込み視覚変換器(CvT)は、視覚変換器(ViT)の性能と効率を向上する。
新しいアーキテクチャはViTに畳み込み、両方の設計で最高のものを生み出す。
論文 参考訳(メタデータ) (2021-03-29T17:58:22Z) - Vision Transformers for Dense Prediction [77.34726150561087]
高密度予測タスクのバックボーンとして、畳み込みネットワークの代わりにビジョントランスを活用するアーキテクチャである高密度ビジョントランスを紹介します。
実験により,このアーキテクチャは高密度予測タスクにおいて大幅な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2021-03-24T18:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。