論文の概要: A Survey on Vision Autoregressive Model

• arxiv url: http://arxiv.org/abs/2411.08666v2
• Date: Sat, 16 Nov 2024 11:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 10:50:33.332306
• Title: A Survey on Vision Autoregressive Model
• Title（参考訳）: 視覚自己回帰モデルに関する調査
• Authors: Kai Jiang, Jiaxing Huang,
• Abstract要約: 自然言語処理(NLP)における自己回帰モデルの性能を実証した NLP分野での顕著な成功にインスパイアされた自己回帰モデルは、近年コンピュータビジョンにおいて集中的に研究されている。 本稿では,既存の手法の分類学の発展を含む,視覚自己回帰モデルに関する体系的なレビューを行う。
• 参考スコア（独自算出の注目度）: 15.042485771127346
• License:
• Abstract: Autoregressive models have demonstrated great performance in natural language processing (NLP) with impressive scalability, adaptability and generalizability. Inspired by their notable success in NLP field, autoregressive models have been intensively investigated recently for computer vision, which perform next-token predictions by representing visual data as visual tokens and enables autoregressive modelling for a wide range of vision tasks, ranging from visual generation and visual understanding to the very recent multimodal generation that unifies visual generation and understanding with a single autoregressive model. This paper provides a systematic review of vision autoregressive models, including the development of a taxonomy of existing methods and highlighting their major contributions, strengths, and limitations, covering various vision tasks such as image generation, video generation, image editing, motion generation, medical image analysis, 3D generation, robotic manipulation, unified multimodal generation, etc. Besides, we investigate and analyze the latest advancements in autoregressive models, including thorough benchmarking and discussion of existing methods across various evaluation datasets. Finally, we outline key challenges and promising directions for future research, offering a roadmap to guide further advancements in vision autoregressive models.
• Abstract（参考訳）: 自己回帰モデルは、優れたスケーラビリティ、適応性、一般化性を備えた自然言語処理(NLP)において、優れた性能を示している。 視覚データを視覚トークンとして表現し、視覚生成や視覚理解から、視覚生成と1つの自己回帰モデルで理解を統一する最新のマルチモーダル世代に至るまで、幅広い視覚タスクに対する自己回帰モデリングを可能にする。 本稿では,既存の手法の分類学の発展と,その主な貢献,強み,限界を明らかにすること,画像生成,映像生成,画像編集,運動生成,医用画像解析,3D生成,ロボット操作,統合マルチモーダル生成などのビジョンタスクを網羅する,視覚自己回帰モデルについて,体系的に検討する。 さらに, 各種評価データセットにおける既存手法の詳細なベンチマークや検討を含む, 自己回帰モデルの最新動向を調査し, 分析する。 最後に、今後の研究において重要な課題と有望な方向性を概説し、視覚自己回帰モデルにおけるさらなる進歩を導くロードマップを提供する。

関連論文リスト

• Towards Unifying Understanding and Generation in the Era of Vision Foundation Models: A Survey from the Autoregression Perspective [31.527120945663725]
  本稿では、最近の進歩を概観し、自己回帰的視覚基盤モデルの将来的な方向性について論じる。 我々は,次世代の視覚基礎モデルのトレンドを提示し,視覚タスクの理解と生成を統一する。 我々は、自己回帰的視覚基盤モデルを、その視覚トークン化剤と自己回帰バックボーンから分類する。
  論文  参考訳（メタデータ） (2024-10-29T16:48:22Z)
• Multimodal Large Language Model is a Human-Aligned Annotator for Text-to-Image Generation [87.50120181861362]
  VisionPreferは高品質できめ細かい選好データセットで、複数の選好面をキャプチャする。 我々は、VisionPrefer上で報酬モデルVP-Scoreをトレーニングし、テキストから画像への生成モデルのトレーニングを指導し、VP-Scoreの嗜好予測精度は人間のアノテーションに匹敵する。
  論文  参考訳（メタデータ） (2024-04-23T14:53:15Z)
• Deep Learning for Robust and Explainable Models in Computer Vision [0.0]
  この論文は、MLとDLを実際に使用する際の堅牢性と説明可能性の問題に対処する様々なアプローチを提示している。 この論文は、コンピュータビジョンモデルの堅牢性と説明可能性の発展を示す。 理論的発展に加えて、この論文は異なる文脈におけるMLとDLのいくつかの応用を実証している。
  論文  参考訳（メタデータ） (2024-03-27T15:17:10Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Veagle: Advancements in Multimodal Representation Learning [0.0]
  本稿では,既存モデルのマルチモーダル能力を向上するための新しいアプローチを提案する。 提案したモデルであるVeagleは、以前の作品の成功と洞察にインスパイアされたユニークなメカニズムを取り入れています。 以上の結果から,Veagleは既存のモデルよりも優れた性能を示し,性能は5-6%向上した。
  論文  参考訳（メタデータ） (2024-01-18T12:45:25Z)
• Sequential Modeling Enables Scalable Learning for Large Vision Models [120.91839619284431]
  本稿では,言語データを用いずにLVM(Large Vision Model)を学習できる新しい逐次モデリング手法を提案する。 我々は、生画像やビデオや注釈付きデータソースを表現できる共通フォーマット「視覚文」を定義した。
  論文  参考訳（メタデータ） (2023-12-01T18:59:57Z)
• RenAIssance: A Survey into AI Text-to-Image Generation in the Era of Large Model [93.8067369210696]
  テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。 拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。 大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
  論文  参考訳（メタデータ） (2023-09-02T03:27:20Z)
• GPT4Image: Can Large Pre-trained Models Help Vision Models on Perception Tasks? [51.22096780511165]
  本稿では,大規模な事前学習モデルから抽出した知識を利用して,CNN や ViT などのモデルが拡張表現を学習するのを支援する新しい学習パラダイムを提案する。 我々は、詳細な記述を事前訓練されたエンコーダに入力し、画像の内容をエンコードするリッチなセマンティック情報でテキスト埋め込みを抽出する。
  論文  参考訳（メタデータ） (2023-06-01T14:02:45Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。