論文の概要: Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model

• arxiv url: http://arxiv.org/abs/2105.15089v1
• Date: Mon, 31 May 2021 16:20:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:06:56.994504
• Title: Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model
• Title（参考訳）: 進化的アルゴリズムの類似性:統一シーケンスモデルの設計
• Authors: Jiangning Zhang, Chao Xu, Jian Li, Wenzhou Chen, Yabiao Wang, Ying Tai, Shuo Chen, Chengjie Wang, Feiyue Huang, Yong Liu
• Abstract要約: 実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。 我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。 近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
• 参考スコア（独自算出の注目度）: 58.17021225930069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by biological evolution, we explain the rationality of Vision Transformer by analogy with the proven practical Evolutionary Algorithm (EA) and derive that both of them have consistent mathematical representation. Analogous to the dynamic local population in EA, we improve the existing transformer structure and propose a more efficient EAT model, and design task-related heads to deal with different tasks more flexibly. Moreover, we introduce the spatial-filling curve into the current vision transformer to sequence image data into a uniform sequential format. Thus we can design a unified EAT framework to address multi-modal tasks, separating the network architecture from the data format adaptation. Our approach achieves state-of-the-art results on the ImageNet classification task compared with recent vision transformer works while having smaller parameters and greater throughput. We further conduct multi-model tasks to demonstrate the superiority of the unified EAT, e.g., Text-Based Image Retrieval, and our approach improves the rank-1 by +3.7 points over the baseline on the CSS dataset.
• Abstract（参考訳）: 生物学的進化に触発されて, 実用的進化アルゴリズム (ea) の類似性を用いて視覚トランスフォーマーの合理性を説明し, 両者が一貫した数学的表現を持っていることを導出する。 eaの動的な地域人口と同様に、既存のトランスフォーマー構造を改善し、より効率的なeatモデルを提案し、異なるタスクをより柔軟に扱うタスク関連ヘッドを設計する。 さらに,現在の視覚変換器に空間充填曲線を導入し,画像データを一様シーケンシャル形式に配列する。 したがって、マルチモーダルタスクに対処する統合EATフレームワークを設計でき、ネットワークアーキテクチャをデータフォーマット適応から分離することができる。 本研究では,imagenet分類タスクにおいて,パラメータが小さくスループットも向上しつつ,最新の視覚トランスフォーマーに比べて最先端の結果を得る。 さらに、統一EAT(Text-Based Image Retrieval)の優位性を示すために、マルチモデルタスクを実行し、CSSデータセットのベースライン上のランク1を+3.7ポイント改善する。

関連論文リスト

• Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
  テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。 線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
  論文  参考訳（メタデータ） (2024-02-23T19:34:06Z)
• B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
  本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。 このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。 得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
  論文  参考訳（メタデータ） (2023-06-19T12:54:28Z)
• The geometry of hidden representations of large transformer models [43.16765170255552]
  大規模トランスは、さまざまなデータタイプをまたいだ自己教師型データ分析に使用される強力なアーキテクチャである。 データセットのセマンティック構造は、ある表現と次の表現の間の変換のシーケンスから現れることを示す。 本研究は,データセットのセマンティクス情報が第1ピークの終わりによりよく表現されることを示し,この現象を多種多様なデータセットで訓練された多くのモデルで観測できることを示した。
  論文  参考訳（メタデータ） (2023-02-01T07:50:26Z)
• A System for Morphology-Task Generalization via Unified Representation and Behavior Distillation [28.041319351752485]
  本研究では,多量の熟練した行動データを蒸留することにより,様々な形態のエージェントを操り,様々なタスクをこなす単一ポリシーを学習する方法について検討する。 本稿では, 観測, 行動, 目標/タスクを統一されたグラフ表現で扱うモルフォロジー・タスクグラフを紹介する。 また,多種多様な形態とタスクの組み合わせの手続き的生成を支援する高速な大規模行動生成のためのMxT-Benchを開発した。
  論文  参考訳（メタデータ） (2022-11-25T18:52:48Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Visual Saliency Transformer [127.33678448761599]
  RGBとRGB-Dの液状物体検出(SOD)のための、純粋な変圧器であるVST(Visual Saliency Transformer)に基づく新しい統一モデルを開発しました。 イメージパッチを入力として取り、トランスフォーマーを利用してイメージパッチ間のグローバルコンテキストを伝搬する。 実験結果から,RGBとRGB-D SODのベンチマークデータセットにおいて,本モデルが既存の最新結果を上回っていることが示された。
  論文  参考訳（メタデータ） (2021-04-25T08:24:06Z)
• Generative Adversarial Transformers [13.633811200719627]
  本稿では,新規かつ効率的な変換器であるGANsformerを紹介し,視覚生成モデリングの課題について検討する。 ネットワークは、線形効率の計算を維持しながら、画像間の長距離相互作用を可能にする二部構造を用いる。 高速な学習とより良いデータ効率を享受しながら、画像品質と多様性の観点から最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-01T18:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。