論文の概要: Subobject-level Image Tokenization

• arxiv url: http://arxiv.org/abs/2402.14327v2
• Date: Tue, 23 Apr 2024 13:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-04-24 19:16:06.680865
• Title: Subobject-level Image Tokenization
• Title（参考訳）: サブオブジェクトレベルの画像トークン化
• Authors: Delong Chen, Samuel Cahyawijaya, Jianfeng Liu, Baoyuan Wang, Pascale Fung,
• Abstract要約: トランスフォーマーベースの視覚モデルは通常、イメージを入力単位として固定サイズの正方形パッチにトークン化する。 言語モデルに広く採用されているサブワードトークン化に着想を得て,サブオブジェクトレベルでの画像トークン化手法を提案する。
• 参考スコア（独自算出の注目度）: 60.80949852899857
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based vision models typically tokenize images into fixed-size square patches as input units, which lacks the adaptability to image content and overlooks the inherent pixel grouping structure. Inspired by the subword tokenization widely adopted in language models, we propose an image tokenizer at a subobject level, where the subobjects are represented by semantically meaningful image segments obtained by segmentation models (e.g., segment anything models). To implement a learning system based on subobject tokenization, we first introduced a Direct Segment Anything Model (DirectSAM) that efficiently produces comprehensive segmentation of subobjects, then embed subobjects into compact latent vectors and fed them into a large language model for vision language learning. Empirical results demonstrated that our subobject-level tokenization significantly facilitates efficient learning of translating images into object and attribute descriptions compared to the traditional patch-level tokenization. Codes and models are open-sourced at https://github.com/ChenDelong1999/subobjects.
• Abstract（参考訳）: トランスフォーマーベースの視覚モデルは通常、イメージを固定サイズの正方形パッチに入力単位としてトークン化し、画像の内容への適応性に欠け、固有のピクセルグループ構造を見落としている。 言語モデルに広く採用されているサブワードトークン化に着想を得て,サブオブジェクトレベルでのイメージトークン化を提案し,サブオブジェクトはセグメンテーションモデル(例えば,セグメンテーションモデル)によって得られた意味的に意味のあるイメージセグメントによって表現される。 サブオブジェクトのトークン化に基づく学習システムを実現するために,我々はまず,サブオブジェクトの包括的セグメンテーションを効率よく生成するDirectSAM(Direct Segment Anything Model)を導入し,そのサブオブジェクトをコンパクトな潜在ベクトルに埋め込み,視覚言語学習のための大規模言語モデルに入力した。 実験により,我々のサブオブジェクトレベルのトークン化は,従来のパッチレベルのトークン化と比較して,画像のオブジェクトや属性記述への変換を効率よく行うことができることを示した。 コードとモデルはhttps://github.com/ChenDelong 1999/subjectsでオープンソース化されている。

関連論文リスト

• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation [8.659766913542938]
  我々は、すべての粒度の理解のために、統合された知覚的および意味的トークン圧縮について研究する。 本稿では,学習可能なコードブックによる多面的特徴のクラスタ化と多面的特徴の表現を目的とした特徴ピラミッドトークン化(PAT)を提案する。 実験の結果,PATはVLM特徴ピラミッドの意味的直感を増強することがわかった。
  論文  参考訳（メタデータ） (2024-12-18T18:43:21Z)
• Efficient Multi-modal Large Language Models via Visual Token Grouping [55.482198808206284]
  高解像度の画像やビデオは、彼らの広く普及するための障壁となる。 MLLMにおける視覚トークンの圧縮は、推論コストを削減するための有望なアプローチとして現れている。 本稿では,事前学習した視覚エンコーダの能力を利用して類似画像セグメントをグループ化する,新たなグループ化機構であるVisToGを紹介する。
  論文  参考訳（メタデータ） (2024-11-26T09:36:02Z)
• Towards Open-Vocabulary Semantic Segmentation Without Semantic Labels [53.8817160001038]
  画素レベルの理解にCLIP画像エンコーダを適用する新しい手法であるPixelCLIPを提案する。 セマンティックラベルを使わずにマスクを活用するという課題に対処するため,オンラインクラスタリングアルゴリズムを考案した。 PixelCLIPはCLIPよりも大幅にパフォーマンスが向上し、キャプション管理手法に比べて競合性が向上した。
  論文  参考訳（メタデータ） (2024-09-30T01:13:03Z)
• FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers [55.2480439325792]
  FUSEは、あるモデルのテキスト埋め込み空間から別のモデルへのマッピングを行うアダプタ層を、異なるトークン化器にまたがっても近似するアプローチである。 画像キャプションと感情に基づく画像キャプションのための視覚言語モデルと因果言語モデルに対する多目的最適化によるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-08-09T02:16:37Z)
• Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [41.81009725976217]
  視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。 テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
  論文  参考訳（メタデータ） (2024-05-26T01:46:22Z)
• Generalizable Entity Grounding via Assistance of Large Language Model [77.07759442298666]
  本稿では,長いキャプションから密接な視覚的実体を抽出する手法を提案する。 本研究では,意味代名詞の抽出に大規模なマルチモーダルモデル,エンティティレベルのセグメンテーションを生成するクラス-aセグメンテーションモデル,および各セグメンテーション名詞と対応するセグメンテーションマスクを関連付けるマルチモーダル特徴融合モジュールを利用する。
  論文  参考訳（メタデータ） (2024-02-04T16:06:05Z)
• Exploring Simple Open-Vocabulary Semantic Segmentation [7.245983878396646]
  オープン語彙セマンティックセグメンテーションモデルは、任意のオープン語彙テキストの集合から画像中の各ピクセルにセマンティックラベルを正確に割り当てることを目的としている。 本稿では,これらの要素に依存することなく驚くほど高い性能を実現する新モデルであるS-Segを紹介する。
  論文  参考訳（メタデータ） (2024-01-22T18:59:29Z)
• Improving fine-grained understanding in image-text pre-training [37.163228122323865]
  SPARse Fine-fine Contrastive Alignment (SPARC) は、画像とテキストのペアからよりきめ細かなマルチモーダル表現を事前学習する簡単な方法である。 粗い情報に依存した画像レベルのタスクに対して、競合するアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-18T10:28:45Z)
• Grounding Everything: Emerging Localization Properties in Vision-Language Transformers [51.260510447308306]
  事前学習された視覚言語(VL)モデルでは、微調整なしでゼロショットのオープン語彙オブジェクトローカライゼーションが可能であることを示す。 本稿では,CLIPSurgeryが自己注意経路に導入した価値価値注意の考え方を一般化するグラウンドング・エコノミクス・モジュール(GEM)を提案する。 セマンティックセグメンテーションのための様々なベンチマークタスクとデータセットに基づいて提案したGEMフレームワークを評価する。
  論文  参考訳（メタデータ） (2023-12-01T19:06:12Z)
• Content-aware Token Sharing for Efficient Semantic Segmentation with Vision Transformers [5.910159499687659]
  本稿では,意味的セグメンテーションネットワークの計算効率を向上させるトークン削減手法であるCTS(Content-Aware Token Sharing)を提案する。 我々は、イメージパッチが同じセマンティッククラスを含んでいるかどうかを予測し、もしそうであればトークンを共有できるように、クラスに依存しないポリシーネットワークを採用している。 Content-Aware Token Sharingでは、セグメンテーションの品質を低下させることなく、処理されたトークンの数を最大44%削減できます。
  論文  参考訳（メタデータ） (2023-06-03T12:05:07Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。