論文の概要: Causal Image Modeling for Efficient Visual Understanding

• arxiv url: http://arxiv.org/abs/2410.07599v1
• Date: Thu, 10 Oct 2024 04:14:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 16:06:31.010506
• Title: Causal Image Modeling for Efficient Visual Understanding
• Title（参考訳）: 効率的な視覚理解のための因果画像モデリング
• Authors: Feng Wang, Timing Yang, Yaodong Yu, Sucheng Ren, Guoyizhe Wei, Angtian Wang, Wei Shao, Yuyin Zhou, Alan Yuille, Cihang Xie,
• Abstract要約: 本稿では,イメージをパッチトークンのシーケンスとして扱うアドベンチャーシリーズモデルを紹介し,一方向言語モデルを用いて視覚表現を学習する。 このモデリングパラダイムにより、列長に対して線形な複雑度を持つ繰り返し定式化による画像の処理が可能となる。 本稿では,画像入力を因果推論フレームワークにシームレスに統合する2つの簡単な設計を提案する。
• 参考スコア（独自算出の注目度）: 41.87857129429512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present a comprehensive analysis of causal image modeling and introduce the Adventurer series models where we treat images as sequences of patch tokens and employ uni-directional language models to learn visual representations. This modeling paradigm allows us to process images in a recurrent formulation with linear complexity relative to the sequence length, which can effectively address the memory and computation explosion issues posed by high-resolution and fine-grained images. In detail, we introduce two simple designs that seamlessly integrate image inputs into the causal inference framework: a global pooling token placed at the beginning of the sequence and a flipping operation between every two layers. Extensive empirical studies demonstrate the significant efficiency and effectiveness of this causal image modeling paradigm. For example, our base-sized Adventurer model attains a competitive test accuracy of 84.0% on the standard ImageNet-1k benchmark with 216 images/s training throughput, which is 5.3 times more efficient than vision transformers to achieve the same result.
• Abstract（参考訳）: 本稿では、因果画像モデリングの包括的分析と、パッチトークンのシーケンスとしてイメージを扱い、一方向言語モデルを用いて視覚表現を学習するアドベンチャーシリーズモデルを提案する。 このモデリングパラダイムにより,高解像度で微細な画像によって引き起こされるメモリと計算の爆発問題に効果的に対処することができる。 本稿では,画像入力を因果推論フレームワークにシームレスに統合する2つの簡単な設計を紹介した。 この因果画像モデリングパラダイムの有効性と有効性について、広範囲にわたる実証的研究を行った。 例えば、私たちのベースサイズのアドベンチャーモデルは、216イメージ/秒のトレーニングスループットを持つ標準のImageNet-1kベンチマークで84.0%の競合テスト精度を実現しています。

関連論文リスト

• Scaling Laws of Synthetic Images for Model Training ... for Now [54.43596959598466]
  本研究では, 合成画像のスケーリング法則について, テクスト・ツー・イメージ・モデルの現状から検討した。 合成画像は、CLIPトレーニングの実際の画像と似ているが、やや効果の低いスケーリング傾向を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:59Z)
• Zero-Shot Image Harmonization with Generative Model Prior [22.984119094424056]
  画像調和のためのゼロショットアプローチを提案し, 大量の合成合成画像への依存を克服することを目的とした。 人間の振る舞いにインスパイアされた、完全にモジュール化されたフレームワークを導入します。 さまざまなシーンやオブジェクトにまたがる説得力のある視覚的結果と、アプローチを検証するユーザスタディを提示します。
  論文  参考訳（メタデータ） (2023-07-17T00:56:21Z)
• T-ADAF: Adaptive Data Augmentation Framework for Image Classification Network based on Tensor T-product Operator [0.0]
  本稿ではテンソルT-Product Operatorに基づくAdaptive Data Augmentation Frameworkを提案する。 1つの画像データを3倍にし、これら3つの画像から結果を得る。 数値実験により、我々のデータ拡張フレームワークは、元のニューラルネットワークモデルの性能を2%向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-06-07T08:30:44Z)
• IRGen: Generative Modeling for Image Retrieval [82.62022344988993]
  本稿では,画像検索を生成モデルの一種として再フレーミングする新しい手法を提案する。 我々は、イメージを意味単位の簡潔なシーケンスに変換するという技術的課題に対処するため、IRGenと呼ばれるモデルを開発した。 本モデルは,広範に使用されている3つの画像検索ベンチマークと200万件のデータセットに対して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-17T17:07:36Z)
• Exploring Stochastic Autoregressive Image Modeling for Visual Representation [24.582376834198403]
  本稿では,2つの簡単な設計による自己回帰画像モデリング(SAIM)を提案する。 予測と並列エンコーダデコーダの導入により,SAIMは自己回帰画像モデリングの性能を著しく向上させる。 提案手法は,ImageNet-1Kデータのみを用いて,バニラVTベースモデル上で最高の精度(83.9%)を実現する。
  論文  参考訳（メタデータ） (2022-12-03T13:04:29Z)
• Towards Bidirectional Arbitrary Image Rescaling: Joint Optimization and Cycle Idempotence [76.93002743194974]
  本稿では、任意の再スケーリング(アップスケーリングとダウンスケーリングの両方)を統一プロセスとして扱う方法を提案する。 提案モデルでは、アップスケーリングとダウンスケーリングを同時に学習し、双方向の任意のイメージ再スケーリングを実現する。 繰り返しにダウンスケーリング・アップスケーリング・サイクルが適用された場合, 復元精度が著しく低下することなく, サイクルイデオポテンス試験において堅牢であることが確認された。
  論文  参考訳（メタデータ） (2022-03-02T07:42:15Z)
• Meta Internal Learning [88.68276505511922]
  単一画像生成のための内部学習は、単一の画像に基づいて新しい画像を生成するようにジェネレータを訓練するフレームワークである。 本稿では,サンプル画像の内部統計をより効果的にモデル化するために,画像集合のトレーニングを可能にするメタラーニング手法を提案する。 以上の結果から, 得られたモデルは, 多数の共通画像アプリケーションにおいて, シングルイメージのGANと同程度に適していることがわかった。
  論文  参考訳（メタデータ） (2021-10-06T16:27:38Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。