Fugu-MT 論文翻訳(概要): Semantic-Aware Autoregressive Image Modeling for Visual Representation Learning

論文の概要: Semantic-Aware Autoregressive Image Modeling for Visual Representation Learning

arxiv url: http://arxiv.org/abs/2312.10457v1
Date: Sat, 16 Dec 2023 14:03:10 GMT
ステータス: 処理完了
システム内更新日: 2023-12-19 16:32:40.071658
Title: Semantic-Aware Autoregressive Image Modeling for Visual Representation Learning
Title（参考訳）: 視覚表現学習のためのセマンティックアウェア自己回帰画像モデリング
Authors: Kaiyou Song, Shan Zhang, Tong Wang
Abstract要約: 本稿では,セマンティック・アウェア・オートレグレッシブ・イメージ・モデリング(SemAIM)手法を提案する。 SemAIMの主な洞察は、セマンティックパッチから、セマンティックパッチの少ないセマンティックパッチへの自動回帰モデルイメージである。 ViT-Bで、SemAIMはImageNet上での微調整で84.1%のトップ-1精度、オブジェクト検出とインスタンス/セマンティックセグメンテーションで51.3%AP、45.4%APを達成した。
参考スコア（独自算出の注目度）: 9.960835000101115
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The development of autoregressive modeling (AM) in computer vision lags behind natural language processing (NLP) in self-supervised pre-training. This is mainly caused by the challenge that images are not sequential signals and lack a natural order when applying autoregressive modeling. In this study, inspired by human beings' way of grasping an image, i.e., focusing on the main object first, we present a semantic-aware autoregressive image modeling (SemAIM) method to tackle this challenge. The key insight of SemAIM is to autoregressive model images from the semantic patches to the less semantic patches. To this end, we first calculate a semantic-aware permutation of patches according to their feature similarities and then perform the autoregression procedure based on the permutation. In addition, considering that the raw pixels of patches are low-level signals and are not ideal prediction targets for learning high-level semantic representation, we also explore utilizing the patch features as the prediction targets. Extensive experiments are conducted on a broad range of downstream tasks, including image classification, object detection, and instance/semantic segmentation, to evaluate the performance of SemAIM. The results demonstrate SemAIM achieves state-of-the-art performance compared with other self-supervised methods. Specifically, with ViT-B, SemAIM achieves 84.1% top-1 accuracy for fine-tuning on ImageNet, 51.3% AP and 45.4% AP for object detection and instance segmentation on COCO, which outperforms the vanilla MAE by 0.5%, 1.0%, and 0.5%, respectively.
Abstract（参考訳）: 自己教師型事前学習における自然言語処理(NLP)の背後にあるコンピュータビジョンラグにおける自己回帰モデリング(AM)の開発これは主に、画像がシーケンシャル信号ではなく、自己回帰モデルを適用する際に自然な順序が欠如していることに起因する。本研究では,人間のイメージ把握方法に着想を得て,まず主対象に焦点をあて,この課題に取り組むために,意味認識自己回帰的画像モデリング(semaim)手法を提案する。 SemAIMの主な洞察は、セマンティックパッチからより少ないセマンティックパッチへの自動回帰モデルイメージである。この目的のために,まず,パッチの特徴的類似性に応じた意味認識型順列を算出し,順列に基づいて自己回帰手順を行う。また,パッチの原画素が低レベル信号であり,高レベルなセマンティック表現を学習するための理想的な予測対象ではないことを考えると,パッチ特徴を予測対象として活用することについても検討する。画像分類やオブジェクト検出,インスタンス/セマンティックセグメンテーションなど,幅広い下流タスクに対して大規模な実験を行い,SemAIMの性能評価を行った。その結果、SemAIMは、他の自己管理手法と比較して最先端の性能を達成できた。具体的には、ViT-Bで、SemAIMはImageNet上での微調整で84.1%、オブジェクト検出では51.3%、COCO上では45.4%、バニラMAEでは0.5%、1.0%、0.5%をそれぞれ上回っている。

関連論文リスト

VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
論文参考訳（メタデータ） (2024-02-16T21:17:42Z)
On quantifying and improving realism of images generated with diffusion [50.37578424163951]
与えられた画像の5つの統計的測度から算出した画像リアリズムスコア(IRS)と呼ばれるメトリクスを提案する。 IRSは、与えられた画像を実または偽のものとして分類する手段として容易に利用できる。我々は,安定拡散モデル (SDM) , Dalle2, Midjourney, BigGAN による偽画像の検出に成功して,提案したIRSのモデルおよびデータに依存しない性質を実験的に確立した。このデータセットは、高品質の4つのモデルによって生成される100のクラスに対して1,000のサンプルを提供します。
論文参考訳（メタデータ） (2023-09-26T08:32:55Z)
Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration [79.04007257606862]
本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。我々のアプローチはMCLIR(Model Contrastive Learning for Image Restoration)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
論文参考訳（メタデータ） (2023-09-12T07:50:54Z)
Efficient Masked Autoencoders with Self-Consistency [34.7076436760695]
マスク付き画像モデリング(MIM)はコンピュータビジョンにおける強力な自己教師付き事前学習手法として認識されている。本研究では,自己整合性(EMAE)を有する効率的なマスク付きオートエンコーダを提案し,事前学習効率を向上させる。 EMAEは、画像分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな下流タスクにおける最先端の転送能力を一貫して取得する。
論文参考訳（メタデータ） (2023-02-28T09:21:12Z)
Exploring Stochastic Autoregressive Image Modeling for Visual Representation [24.582376834198403]
本稿では,2つの簡単な設計による自己回帰画像モデリング(SAIM)を提案する。予測と並列エンコーダデコーダの導入により,SAIMは自己回帰画像モデリングの性能を著しく向上させる。提案手法は,ImageNet-1Kデータのみを用いて,バニラVTベースモデル上で最高の精度(83.9%)を実現する。
論文参考訳（メタデータ） (2022-12-03T13:04:29Z)
BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers [117.79456335844439]
マスク付き予測のための再構成ターゲットとして,セマンティックリッチなビジュアルトークン化器を提案する。次に、マスクされた画像パッチに対する元の視覚トークンを予測して、視覚変換器を事前訓練する。画像分類とセマンティックセグメンテーションの実験は、我々のアプローチがMIM法よりも優れていることを示している。
論文参考訳（メタデータ） (2022-08-12T16:48:10Z)
Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation [42.37533586611174]
Masked Image Modeling (MIM)は、非常に優れた微調整性能を持つ表現を学習する。本稿では, 簡単な後処理により, 事前学習手法の微調整性能を著しく向上できることを示す。
論文参考訳（メタデータ） (2022-05-27T17:59:36Z)
Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
論文参考訳（メタデータ） (2020-12-09T12:40:13Z)
Dense Contrastive Learning for Self-Supervised Visual Pre-Training [102.15325936477362]
入力画像の2つのビュー間の画素レベルでの差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分差分)を最適化することにより自己教師学習を実現する。ベースライン法であるMoCo-v2と比較すると,計算オーバーヘッドは1%遅かった。
論文参考訳（メタデータ） (2020-11-18T08:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。