論文の概要: Adaptively Clustering Neighbor Elements for Image-Text Generation

• arxiv url: http://arxiv.org/abs/2301.01955v3
• Date: Mon, 24 Jun 2024 04:45:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 05:28:15.944071
• Title: Adaptively Clustering Neighbor Elements for Image-Text Generation
• Title（参考訳）: 画像テキスト生成のための隣接要素の適応クラスタリング
• Authors: Zihua Wang, Xu Yang, Hanwang Zhang, Haiyang Xu, Ming Yan, Fei Huang, Yu Zhang,
• Abstract要約: 我々はtextbfACF と呼ばれるトランスフォーマーに基づく新しい画像テキスト生成モデルを提案する。 ACFは、視覚パッチをオブジェクト領域と言語単語に適応的にクラスタリングし、暗黙的にオブジェクト・フレーズのアライメントを学習する。 実験の結果,ほとんどのSOTAキャプションやVQAモデルよりも優れたACFの有効性が示された。
• 参考スコア（独自算出の注目度）: 78.82346492527425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel Transformer-based image-to-text generation model termed as \textbf{ACF} that adaptively clusters vision patches into object regions and language words into phrases to implicitly learn object-phrase alignments for better visual-text coherence. To achieve this, we design a novel self-attention layer that applies self-attention over the elements in a local cluster window instead of the whole sequence. The window size is softly decided by a clustering matrix that is calculated by the current input data and thus this process is adaptive. By stacking these revised self-attention layers to construct ACF, the small clusters in the lower layers can be grouped into a bigger cluster, \eg vision/language. ACF clusters small objects/phrases into bigger ones. In this gradual clustering process, a parsing tree is generated which embeds the hierarchical knowledge of the input sequence. As a result, by using ACF to build the vision encoder and language decoder, the hierarchical object-phrase alignments are embedded and then transferred from vision to language domains in two popular image-to-text tasks: Image captioning and Visual Question Answering. The experiment results demonstrate the effectiveness of ACF, which outperforms most SOTA captioning and VQA models and achieves comparable scores compared with some large-scale pre-trained models. Our code is available \href{https://github.com/ZihuaEvan/ACFModel/}{[here]}.
• Abstract（参考訳）: 本稿では,オブジェクト領域と言語単語に視覚パッチを適応的にクラスタリングし,オブジェクト・フレーズのアライメントを暗黙的に学習し,より優れた視覚的テキスト・コヒーレンスを実現する,トランスフォーマーベースの画像・テキスト生成モデルを提案する。 そこで本研究では,局所クラスタウィンドウの要素に自己アテンションを適用した新たな自己アテンション層を設計する。 ウィンドウサイズは、現在の入力データによって計算されるクラスタリング行列によってソフトに決定されるので、この処理は適応的である。 これらの修正された自己アテンション層を積み重ねてACFを構築することで、下位層の小さなクラスタをより大きなクラスタである \eg Vision/Languageにグループ化することができる。 ACFは小さなオブジェクト/フレーズをより大きなオブジェクトにクラスタ化する。 この段階的なクラスタリングプロセスでは、入力シーケンスの階層的な知識を埋め込んだ解析木が生成される。 その結果、ACFを用いて視覚エンコーダと言語デコーダを構築することにより、階層的なオブジェクト-フレーズアライメントが組み込まれ、画像キャプションと視覚質問応答という2つの一般的な画像-テキストタスクで視覚から言語ドメインに転送される。 実験の結果,ほとんどのSOTAキャプションモデルとVQAモデルより優れ,大規模事前学習モデルと比較してスコアが同等であるACFの有効性が示された。 私たちのコードは \href{https://github.com/ZihuaEvan/ACFModel/}{[here]} で利用可能です。

関連論文リスト

• Grounding Everything: Emerging Localization Properties in Vision-Language Transformers [51.260510447308306]
  事前学習された視覚言語(VL)モデルでは、微調整なしでゼロショットのオープン語彙オブジェクトローカライゼーションが可能であることを示す。 本稿では,CLIPSurgeryが自己注意経路に導入した価値価値注意の考え方を一般化するグラウンドング・エコノミクス・モジュール(GEM)を提案する。 セマンティックセグメンテーションのための様々なベンチマークタスクとデータセットに基づいて提案したGEMフレームワークを評価する。
  論文  参考訳（メタデータ） (2023-12-01T19:06:12Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• A Process for Topic Modelling Via Word Embeddings [0.0]
  この研究は、単語の埋め込み、次元の縮小、クラスタリングに基づくアルゴリズムを組み合わせる。 目的は、未分類テキストの集合からトピックを取得することである。
  論文  参考訳（メタデータ） (2023-10-06T15:10:35Z)
• Towards Realistic Zero-Shot Classification via Self Structural Semantic Alignment [53.2701026843921]
  大規模事前訓練型視覚言語モデル(VLM)はゼロショット分類に有効であることが証明されている。 本稿では,アノテーションではなく,より広い語彙を前提とした,より難易度の高いゼロショット分類(Realistic Zero-Shot Classification)を提案する。 本稿では,ラベルのないデータから構造意味情報を抽出し,同時に自己学習を行う自己構造意味アライメント(S3A)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-24T17:56:46Z)
• Image as Set of Points [60.30495338399321]
  コンテキストクラスタ(CoC)は、イメージを非組織的なポイントの集合と見なし、単純化されたクラスタリングアルゴリズムによって特徴を抽出する。 われわれのCoCは畳み込みと無注意で、空間的相互作用のためのクラスタリングアルゴリズムにのみ依存している。
  論文  参考訳（メタデータ） (2023-03-02T18:56:39Z)
• Betrayed by Captions: Joint Caption Grounding and Generation for Open Vocabulary Instance Segmentation [80.48979302400868]
  オープンな語彙のインスタンスセグメンテーションに注目し、セグメンテーションモデルを拡張して、インスタンスレベルの新しいカテゴリを分類し、セグメンテーションする。 これまでは、画像領域と名詞の字幕間の1対1のマッピングを確立するために、大量の字幕データセットと複雑なパイプラインに頼っていた。 我々は,一致したオブジェクトのみに着目して学習効率を向上させる新しいグラウンドニング損失を取り入れた,共同の textbf Caption Grounding and Generation (CGG) フレームワークを考案した。
  論文  参考訳（メタデータ） (2023-01-02T18:52:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。