論文の概要: Compositional Mixture Representations for Vision and Text

• arxiv url: http://arxiv.org/abs/2206.06404v1
• Date: Mon, 13 Jun 2022 18:16:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 13:28:42.242104
• Title: Compositional Mixture Representations for Vision and Text
• Title（参考訳）: 視覚とテキストのための合成混合表現
• Authors: Stephan Alaniz, Marco Federici, Zeynep Akata
• Abstract要約: 視覚と言語の間の共通表現空間により、ディープネットワークは画像内のオブジェクトと対応する意味の意味を関連付けることができる。 本稿では,テキストの合成性を視覚領域に含ませる共有ガウス混合表現を,明示的な位置監督を伴わずに学習するモデルを提案する。
• 参考スコア（独自算出の注目度）: 43.2292923754127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a common representation space between vision and language allows deep networks to relate objects in the image to the corresponding semantic meaning. We present a model that learns a shared Gaussian mixture representation imposing the compositionality of the text onto the visual domain without having explicit location supervision. By combining the spatial transformer with a representation learning approach we learn to split images into separately encoded patches to associate visual and textual representations in an interpretable manner. On variations of MNIST and CIFAR10, our model is able to perform weakly supervised object detection and demonstrates its ability to extrapolate to unseen combination of objects.
• Abstract（参考訳）: 視覚と言語の間の共通の表現空間を学ぶことで、ディープネットワークは画像内のオブジェクトと対応する意味意味を関連付けることができる。 本稿では,テキストの合成性を視覚領域に含ませる共有ガウス混合表現を,明示的な位置監視なしに学習するモデルを提案する。 空間変換器を表現学習アプローチと組み合わせることで、画像を別々に符号化したパッチに分割し、視覚的およびテキスト的表現を解釈可能な方法で関連付けることを学ぶ。 MNISTとCIFAR10のバリエーションについて、我々のモデルは弱い教師付きオブジェクト検出を実行でき、オブジェクトの未知の組み合わせに外挿する能力を示す。

関連論文リスト

• Towards Interpreting Visual Information Processing in Vision-Language Models [24.51408101801313]
  VLM(Vision-Language Models)は、テキストや画像の処理と理解のための強力なツールである。 著名なVLMであるLLaVAの言語モデルコンポーネントにおける視覚トークンの処理について検討する。
  論文  参考訳（メタデータ） (2024-10-09T17:55:02Z)
• Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
  画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。 双曲型視覚言語モデルのための構成的包摂学習を提案する。 数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-09T14:12:50Z)
• ComAlign: Compositional Alignment in Vision-Language Models [2.3250871476216814]
  コンポジションアライメント(ComAlign)を導入し、テキストと画像コンポーネントのより正確な対応を見出す。 本手法は, テキストのモダリティから抽出した構成構造も画像のモダリティに残さなければならないことを強調する。 私たちは、小さなデータセットを使用して、既存のビジュアルおよび言語エンコーダの上に横たわる軽量ネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2024-09-12T16:46:41Z)
• Perceptual Grouping in Contrastive Vision-Language Models [59.1542019031645]
  画像内の物体の位置を視覚言語モデルで理解し,画像の視覚的関連部分をグループ化する方法について述べる。 本稿では,意味情報と空間情報の両方を一意に学習するモデルとして,最小限の修正を提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:01:35Z)
• SimAN: Exploring Self-Supervised Representation Learning of Scene Text via Similarity-Aware Normalization [66.35116147275568]
  自己指導型表現学習は、現場テキスト認識コミュニティからかなりの注目を集めている。 表現学習スキームを生成的手法で定式化することで,この問題に対処する。 そこで我々は,異なるパターンを識別し,対応するスタイルを誘導パッチから整列するSimANモジュールを提案する。
  論文  参考訳（メタデータ） (2022-03-20T08:43:10Z)
• Matching Visual Features to Hierarchical Semantic Topics for Image Paragraph Captioning [50.08729005865331]
  本稿では,階層的トピック誘導画像段落生成フレームワークを開発した。 複数の抽象レベルでの画像とテキストの相関をキャプチャするために、変分推論ネットワークを設計します。 段落生成を導くために、学習した階層的トピックと視覚的特徴を言語モデルに統合する。
  論文  参考訳（メタデータ） (2021-05-10T06:55:39Z)
• Exploring Explicit and Implicit Visual Relationships for Image Captioning [11.82805641934772]
  本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。 具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。 暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
  論文  参考訳（メタデータ） (2021-05-06T01:47:51Z)
• Self-Supervised Representation Learning from Flow Equivariance [97.13056332559526]
  本稿では,複雑なシーンの映像ストリームに直接展開可能な,自己教師型学習表現フレームワークを提案する。 高分解能rawビデオから学んだ我々の表現は、静的画像の下流タスクに簡単に使用できます。
  論文  参考訳（メタデータ） (2021-01-16T23:44:09Z)
• Image Captioning with Visual Object Representations Grounded in the Textual Modality [14.797241131469486]
  テキストと視覚のモダリティ間の共有埋め込み空間の可能性を探る。 本稿では,キャプションシステムの単語埋め込み空間における表現を基礎として,現在の傾向とは逆のアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-19T12:21:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。