論文の概要: Variational Adapter for Cross-modal Similarity Representation
- arxiv url: http://arxiv.org/abs/2605.30968v1
- Date: Fri, 29 May 2026 08:08:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.461174
- Title: Variational Adapter for Cross-modal Similarity Representation
- Title（参考訳）: モーダル類似表現のための変分適応器
- Abstract要約: クロスモーダル類似表現(VACSR)のための変分適応器を提案する。
画像テキストマッチングと微細な意味的不足を変分推論問題として再構成する。
クロスモーダルな類似性のための潜在空間を構築し、正規化技術を使用してバイナリアノテーションへのオーバーフィットを軽減する。
- 参考スコア（独自算出の注目度）: 2.0621012870194755
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The core of vision-language models lies in measuring cross-modal similarity within a unified representation space. However, most image-text matching or multi-class image classification datasets lack fine-grained cross-modal matching annotations, forcing the continuous similarity space into binary classification boundaries. This compression induces false negative samples and significantly impairs the generalization performance of cross-modal tasks. While prior research has attempted to mitigate this by modeling intra-modal ambiguity, it often overlooks inherent annotation flaws, leading to suboptimal uncertainty allocation. To address these challenges, we propose a Variational Adapter for Cross-modal Similarity Representation (VACSR). This approach reformulates image-text matching with fine-grained semantic scarcity as a variational inference problem. It constructs a latent space for cross-modal similarity and uses regularization techniques to mitigate overfitting to binary annotations. Experiments on image-text retrieval, domain generalization, and base-to-novel generalization demonstrate the proposed method's effectiveness and robust generalization ability.
- Abstract（参考訳）: 視覚言語モデルの中核は、統一表現空間内でのクロスモーダル類似度を測定することである。
しかし、ほとんどの画像テキストマッチングやマルチクラス画像分類データセットは、細粒度のクロスモーダルマッチングアノテーションを欠き、連続的な類似性空間をバイナリ分類境界に強制する。
この圧縮は偽陰性サンプルを誘導し、クロスモーダルタスクの一般化性能を著しく損なう。
以前の研究では、モーダル内あいまいさをモデル化してこれを緩和しようとしたが、しばしば固有のアノテーションの欠陥を見落とし、最適以下の不確実性割り当てにつながった。
これらの課題に対処するために,クロスモーダル類似表現(VACSR)のための変分適応器を提案する。
提案手法は,変化推論問題として,きめ細かな意味的不足を伴う画像テキストマッチングを再構成する。
クロスモーダルな類似性のための潜在空間を構築し、正規化技術を使用してバイナリアノテーションへのオーバーフィットを軽減する。
画像テキスト検索,領域一般化,ベース・ツー・ノーベル一般化実験は,提案手法の有効性とロバストな一般化能力を示す。
関連論文リスト
- Unpaired Image-to-Image Translation via a Self-Supervised Semantic Bridge [59.247871132422006]
逆拡散法と拡散反転法は、未ペア画像から画像への変換を先進的に進めているが、それぞれが鍵となる制限に直面している。
本稿では,外部意味を拡散ブリッジモデルに統合する汎用フレームワークであるSelf-Supervised Semantic Bridge (SSB)を提案する。
我々のキーとなる考え方は、自己教師付き視覚エンコーダを活用して、外観変化に不変な表現を学習するが、幾何学的構造を捉えることである。
論文 参考訳（メタデータ） (2026-02-18T18:05:00Z) - GMM-Based Comprehensive Feature Extraction and Relative Distance Preservation For Few-Shot Cross-Modal Retrieval [13.928213494843744]
クロスモーダル検索は、限られたトレーニングサンプルを用いたクロスモーダル表現の学習に焦点を当てている。
既存の手法では、数発のクロスモーダルデータのマルチピーク分布を適切にモデル化できない場合が多い。
画像特徴量とテキスト特徴量との相対的距離を制約するクロスモーダルなセマンティックアライメントのための新しい戦略を導入する。
論文 参考訳（メタデータ） (2025-05-19T16:25:55Z) - SemSim: Revisiting Weak-to-Strong Consistency from a Semantic Similarity Perspective for Semi-supervised Medical Image Segmentation [18.223854197580145]
医用画像分割のための半教師付き学習(SSL)は難しいが、非常に実践的な課題である。
セムシム(SemSim)という名前のFixMatchに基づく新しいフレームワークを提案する。
SemSimは3つの公開セグメンテーションベンチマークで最先端の手法よりも一貫した改善をもたらすことを示す。
論文 参考訳（メタデータ） (2024-10-17T12:31:37Z) - Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。
既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。
本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
論文 参考訳（メタデータ） (2024-07-16T13:00:33Z) - SemFlow: Binding Semantic Segmentation and Image Synthesis via Rectified Flow [94.90853153808987]
セマンティックセグメンテーション(Semantic segmentation)とセマンティックイメージ合成(Semantic image synthesis)は、視覚知覚と生成において代表的なタスクである。
我々は、統一されたフレームワーク(SemFlow)を提案し、それらを2つの逆問題としてモデル化する。
実験の結果,セマンティックセグメンテーションとセマンティック画像合成タスクにおいて,セマンティックセグメンテーションと競合する結果が得られた。
論文 参考訳（メタデータ） (2024-05-30T17:34:40Z) - Counterfactual Image Generation for adversarially robust and
interpretable Classifiers [1.3859669037499769]
本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。
これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。
モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
論文 参考訳（メタデータ） (2023-10-01T18:50:29Z) - Fine-grained Recognition with Learnable Semantic Data Augmentation [68.48892326854494]
きめ細かい画像認識は、長年続くコンピュータビジョンの課題である。
本稿では,識別領域損失問題を軽減するため,特徴レベルのトレーニングデータを多様化することを提案する。
本手法は,いくつかの人気分類ネットワーク上での一般化性能を著しく向上させる。
論文 参考訳（メタデータ） (2023-09-01T11:15:50Z) - Cross-modal tumor segmentation using generative blending augmentation and self training [1.6440045168835438]
本稿では,新しいデータ拡張手法によって強化された従来の画像合成に基づくクロスモーダルセグメンテーション手法を提案する。
Generative Blending Augmentation (GBA)は、単一のトレーニング画像から代表的生成特徴を学習し、腫瘍の外観を現実的に多様化させる。
提案手法は,MICCAI CrossMoDA 2022 チャレンジの検証および試験段階において,前庭神経ショーノマ(VS)セグメンテーションにおいて第1位となった。
論文 参考訳（メタデータ） (2023-04-04T11:01:46Z) - Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。
画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
論文 参考訳（メタデータ） (2021-09-22T18:34:14Z) - Weakly supervised segmentation with cross-modality equivariant
constraints [7.757293476741071]
弱い教師付き学習は、セマンティックセグメンテーションにおける大きなラベル付きデータセットの必要性を軽減するための魅力的な代替手段として登場した。
本稿では,マルチモーダル画像シナリオにおける自己スーパービジョンを活用した新しい学習戦略を提案する。
私たちのアプローチは、同じ学習条件下で関連する最近の文学を上回ります。
論文 参考訳（メタデータ） (2021-04-06T13:14:20Z) - Deep Semantic Matching with Foreground Detection and Cycle-Consistency [103.22976097225457]
深層ネットワークに基づく弱い教師付きセマンティックマッチングに対処する。
本研究では,背景乱れの影響を抑えるために,前景領域を明示的に推定する。
複数の画像にまたがって予測変換を強制し、幾何的に可視かつ一貫したサイクル一貫性の損失を発生させる。
論文 参考訳（メタデータ） (2020-03-31T22:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。