論文の概要: Weakly supervised cross-domain alignment with optimal transport

• arxiv url: http://arxiv.org/abs/2008.06597v1
• Date: Fri, 14 Aug 2020 22:48:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 17:39:08.892156
• Title: Weakly supervised cross-domain alignment with optimal transport
• Title（参考訳）: 最適輸送を用いた弱教師付きクロスドメインアライメント
• Authors: Siyang Yuan, Ke Bai, Liqun Chen, Yizhe Zhang, Chenyang Tao, Chunyuan Li, Guoyin Wang, Ricardo Henao, Lawrence Carin
• Abstract要約: 画像オブジェクトとテキストシーケンス間のクロスドメインアライメントは多くの視覚言語タスクの鍵となる。 本稿では,画像とテキスト間の微粒な意味的類似点の同定と最適化のための新しいアプローチについて検討する。
• 参考スコア（独自算出の注目度）: 102.8572398001639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-domain alignment between image objects and text sequences is key to many visual-language tasks, and it poses a fundamental challenge to both computer vision and natural language processing. This paper investigates a novel approach for the identification and optimization of fine-grained semantic similarities between image and text entities, under a weakly-supervised setup, improving performance over state-of-the-art solutions. Our method builds upon recent advances in optimal transport (OT) to resolve the cross-domain matching problem in a principled manner. Formulated as a drop-in regularizer, the proposed OT solution can be efficiently computed and used in combination with other existing approaches. We present empirical evidence to demonstrate the effectiveness of our approach, showing how it enables simpler model architectures to outperform or be comparable with more sophisticated designs on a range of vision-language tasks.
• Abstract（参考訳）: 画像オブジェクトとテキストシーケンス間のクロスドメインアライメントは多くの視覚言語タスクの鍵であり、コンピュータビジョンと自然言語処理の両方に根本的な課題をもたらす。 本稿では,画像とテキストとの微粒度の類似性を,弱い教師付き設定下で識別・最適化し,最先端ソリューションの性能を向上させるための新しい手法について検討する。 提案手法は, ドメイン間マッチング問題を原理的に解くため, 最適輸送法(OT)の最近の進歩に基づいている。 ドロップイン正規化器として定式化され、提案したOTソリューションは、他の既存手法と組み合わせて効率的に計算および利用することができる。 提案手法の有効性を示す実証的なエビデンスを提示し,より単純なモデルアーキテクチャが様々な視覚言語タスクにおいて,より洗練された設計に勝るか,あるいは同等かを示す。

関連論文リスト

• Towards Self-Supervised FG-SBIR with Unified Sample Feature Alignment and Multi-Scale Token Recycling [11.129453244307369]
  FG-SBIRは、埋め込み空間におけるスケッチと対応する画像の距離を最小化することを目的としている。 両領域間のギャップを狭める効果的なアプローチを提案する。 主に、イントラサンプルとインターサンプルの両方を共有する統一的な相互情報共有を促進する。
  論文  参考訳（メタデータ） (2024-06-17T13:49:12Z)
• A Multimodal Approach for Cross-Domain Image Retrieval [5.5547914920738]
  クロスドメイン画像検索(Cross-Domain Image Retrieval, CDIR)は、コンピュータビジョンにおける課題である。 本稿では、事前学習された視覚言語モデルを活用することで、テキストコンテキストを取り入れた新しい教師なしのCDIRアプローチを提案する。 提案手法は,画像キャプションをドメインに依存しない中間表現として用いる。
  論文  参考訳（メタデータ） (2024-03-22T12:08:16Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• Layered Rendering Diffusion Model for Zero-Shot Guided Image Synthesis [60.260724486834164]
  本稿では,テキストクエリに依存する拡散モデルにおける空間制御性向上のための革新的な手法を提案する。 視覚誘導(Vision Guidance)とレイヤーレンダリング拡散(Layered Rendering Diffusion)フレームワーク(Layered Diffusion)という2つの重要なイノベーションを提示します。 本稿では,ボックス・ツー・イメージ,セマンティック・マスク・ツー・イメージ,画像編集の3つの実践的応用に適用する。
  論文  参考訳（メタデータ） (2023-11-30T10:36:19Z)
• Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
  例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。 既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。 本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
  論文  参考訳（メタデータ） (2022-04-01T13:55:44Z)
• Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with Adversarial Discriminative Domain Regularization [21.904563910555368]
  本稿では,画像とテキストのペア内における識別データドメインの集合を構築するための新しい学習フレームワークを提案する。 我々のアプローチは一般的に既存のメトリクス学習フレームワークの学習効率と性能を改善することができる。
  論文  参考訳（メタデータ） (2020-10-23T01:48:37Z)
• DASGIL: Domain Adaptation for Semantic and Geometric-aware Image-based Localization [27.294822556484345]
  環境変化下での視覚的長期化は、自律走行と移動ロボット工学において難しい問題である。 視覚的位置認識のための多スケール潜在埋め込み表現に幾何学的および意味的情報を融合する新しいマルチタスクアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-10-01T17:44:25Z)
• TSIT: A Simple and Versatile Framework for Image-to-Image Translation [103.92203013154403]
  画像間翻訳のためのシンプルで多用途なフレームワークを提案する。 新たに提案した特徴変換を用いた2ストリーム生成モデルを提案する。 これにより、マルチスケールのセマンティック構造情報とスタイル表現を効果的に捕捉し、ネットワークに融合させることができる。 体系的な研究は、提案手法をいくつかの最先端タスク固有のベースラインと比較し、知覚的品質と定量的評価の両面での有効性を検証する。
  論文  参考訳（メタデータ） (2020-07-23T15:34:06Z)
• A Flexible Framework for Designing Trainable Priors with Adaptive Smoothing and Game Encoding [57.1077544780653]
  我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。 グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。 このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
  論文  参考訳（メタデータ） (2020-06-26T08:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。