論文の概要: Diversifying Joint Vision-Language Tokenization Learning

• arxiv url: http://arxiv.org/abs/2306.03421v1
• Date: Tue, 6 Jun 2023 05:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-06-07 17:15:03.088605
• Title: Diversifying Joint Vision-Language Tokenization Learning
• Title（参考訳）: 共同視覚言語トークン化学習の多様化
• Authors: Vardaan Pahuja, AJ Piergiovanni, Anelia Angelova
• Abstract要約: 画像とテキスト間で共同表現を構築することは、ビジュアル質問回答やビデオ質問回答といったタスクにとって重要なステップである。 トークン化学習プロセスの多様化による共同視覚言語表現学習を提案する。
• 参考スコア（独自算出の注目度）: 51.82353485389527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building joint representations across images and text is an essential step for tasks such as Visual Question Answering and Video Question Answering. In this work, we find that the representations must not only jointly capture features from both modalities but should also be diverse for better generalization performance. To this end, we propose joint vision-language representation learning by diversifying the tokenization learning process, enabling tokens that are sufficiently disentangled from each other to be learned from both modalities. We observe that our approach outperforms the baseline models in a majority of settings and is competitive with state-of-the-art methods.
• Abstract（参考訳）: 画像とテキストをつなぐ共同表現の構築は、視覚的質問応答やビデオ質問応答といったタスクにとって必須のステップである。 この研究において、表現は両方のモダリティから特徴を共同にキャプチャするだけでなく、より優れた一般化性能を得るためにも多様である必要がある。 そこで本研究では,トークン化学習プロセスを多様化し,相互に疎結合なトークンを両様相から学習可能にすることにより,視覚言語表現学習を両立させる。 提案手法は,ほとんどの設定においてベースラインモデルよりも優れており,最先端の手法と競合する。

関連論文リスト

• Concept-Guided Prompt Learning for Generalization in Vision-Language Models [33.361744437967126]
  視覚言語モデルのための概念ガイド型プロンプト学習を提案する。 Contrastive Language-Image Pretrainingの知識を活用して、ビジュアルコンセプトキャッシュを作成します。 テキスト特徴を洗練させるために,多段階の視覚特徴をテキスト特徴に変換するプロジェクタを開発する。
  論文  参考訳（メタデータ） (2024-01-15T04:04:47Z)
• DPL: Decoupled Prompt Learning for Vision-Language Models [41.90997623029582]
  本稿では,この問題を緩和するために,学習者の注意を再構築する新しい手法,Decoupled Prompt Learningを提案する。 我々のアプローチは、視覚的・テキスト的モダリティの両方に柔軟であり、マルチモーダル・プロンプト・ラーニングに容易に拡張できる。
  論文  参考訳（メタデータ） (2023-08-19T15:48:38Z)
• Unifying Vision-Language Representation Space with Single-tower Transformer [29.604520441315135]
  両モダリティを同時にモダリティに依存しない方法で符号化する統一視覚言語表現空間を学習するためにモデルを訓練する。 我々は、モダリティ固有の表現空間を学習する以前の作品とOneRを区別する興味深い性質を発見する。
  論文  参考訳（メタデータ） (2022-11-21T02:34:21Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
  モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。 対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。 我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-27T21:16:10Z)
• MVP: Multi-Stage Vision-Language Pre-Training via Multi-Level Semantic Alignment [24.720485548282845]
  言語と視覚のための2段階の意味表現を構築するために,両モードの概念を導入する。 我々は、一様学習と多様学習という2つの段階において、相互モダリティモデルを訓練する。 我々のモデルは、いくつかのビジョンと言語タスクに関する最先端の結果を生成する。
  論文  参考訳（メタデータ） (2022-01-29T14:30:59Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)
• A Novel Attention-based Aggregation Function to Combine Vision and Language [55.7633883960205]
  本稿では,視覚と言語のための新しい完全適応型還元法を提案する。 具体的には,各モータリティの各要素のスコアの集合を,クロスアテンションの新たな変種を用いて計算する。 我々は、画像テキストマッチングと視覚的質問応答のアプローチを試行し、他の縮小選択と公正な比較を構築した。
  論文  参考訳（メタデータ） (2020-04-27T18:09:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。