論文の概要: Dynamic Weighted Combiner for Mixed-Modal Image Retrieval

• arxiv url: http://arxiv.org/abs/2312.06179v1
• Date: Mon, 11 Dec 2023 07:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-12-12 16:44:49.004749
• Title: Dynamic Weighted Combiner for Mixed-Modal Image Retrieval
• Title（参考訳）: 混合モード画像検索のための動的重み付け結合器
• Abstract要約: フレキシブル検索パラダイムとしてのMixed-Modal Image Retrieval (MMIR) が注目されている。 以前のアプローチは常に2つの重要な要因のため、限られたパフォーマンスを達成する。 以上の課題に対処するための動的重み付け結合器(DWC)を提案する。
• 参考スコア（独自算出の注目度）: 8.683144453481328
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixed-Modal Image Retrieval (MMIR) as a flexible search paradigm has attracted wide attention. However, previous approaches always achieve limited performance, due to two critical factors are seriously overlooked. 1) The contribution of image and text modalities is different, but incorrectly treated equally. 2) There exist inherent labeling noises in describing users' intentions with text in web datasets from diverse real-world scenarios, giving rise to overfitting. We propose a Dynamic Weighted Combiner (DWC) to tackle the above challenges, which includes three merits. First, we propose an Editable Modality De-equalizer (EMD) by taking into account the contribution disparity between modalities, containing two modality feature editors and an adaptive weighted combiner. Second, to alleviate labeling noises and data bias, we propose a dynamic soft-similarity label generator (SSG) to implicitly improve noisy supervision. Finally, to bridge modality gaps and facilitate similarity learning, we propose a CLIP-based mutual enhancement module alternately trained by a mixed-modality contrastive loss. Extensive experiments verify that our proposed model significantly outperforms state-of-the-art methods on real-world datasets. The source code is available at \url{https://github.com/fuxianghuang1/DWC}.
• Abstract（参考訳）: フレキシブル検索パラダイムとしてのMixed-Modal Image Retrieval (MMIR) が注目されている。 しかし、2つの重要な要因が著しく見過ごされているため、従来のアプローチは常に限られた性能を達成する。 1) 画像とテキストのモダリティの寄与は異なるが, 等しく扱われていない。 2) 多様な実世界のシナリオから, ユーザの意図をテキストで記述することで, オーバーフィッティングを生じさせる固有のラベル付けノイズが存在する。 3つのメリットを含む上記の課題に取り組むために,動的重み付きコンビネータ(dwc)を提案する。 まず,2つのモダリティ特徴エディタと適応重み付けコンバータを含むモダリティ間の寄与格差を考慮し,編集可能なモダリティデ平等化器(EMD)を提案する。 第2に,ラベリングノイズとデータバイアスを軽減するために,雑音を暗黙的に改善する動的ソフト類似性ラベル生成器(SSG)を提案する。 最後に、モダリティギャップを橋渡しし、類似性学習を容易にするために、混合モダリティコントラスト損失によって交互に訓練されるクリップベースの相互強化モジュールを提案する。 広範な実験により,提案手法が実世界のデータセットの最先端手法を大幅に上回ることを確認した。 ソースコードは \url{https://github.com/fuxianghuang1/dwc} で入手できる。

関連論文リスト

• Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
  我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。 VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。 モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
  論文  参考訳（メタデータ） (2026-07-21T04:10:20Z)
• Two-Stage Multi-Modal Fusion with Adaptive Alignment for Action Quality Assessment [41.72676356491381]
  行動品質アセスメント(AQA)は、人がどれだけ運動を行うかを評価することを目的としている。 ユニモーダルアプローチは、現実の環境での運動品質の微妙な手がかりを捉えるのにしばしば苦労する。 適応アライメントを備えた2段階多モード融合フレームワークであるDualAlignを提案する。
  論文  参考訳（メタデータ） (2026-07-08T14:09:13Z)
• Intra-Modal Neighbors Never Lie: Rectifying Inter-Modal Noisy Correspondence via Graph-Based Intra-Modal Reasoning [35.81581893839085]
  大規模ウェブハーベストデータセットは、クロスモーダル検索の進展を加速させているが、必然的にノイズ対応に悩まされている。 In-modal Neighbor-aware Noise Rectification (IN2R) という新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2026-06-02T12:26:28Z)
• INTENT: Invariance and Discrimination-aware Noise Mitigation for Robust Composed Image Retrieval [33.738463561724444]
  我々は、合成画像検索(CIR)における雑音を、クロスモーダル対応ノイズとモーダル独立ノイズの2つのタイプに分類できると主張している。 後者はモダリティにまたがるミスマッチから生じるが、後者は粗い修正アノテーションとは無関係に、モダリティ内背景干渉や視覚的要因から生じる。 Invariance and discrimiNaTion-awarE noise neTwork (INTENT)を提案する。
  論文  参考訳（メタデータ） (2026-04-20T10:19:07Z)
• HABIT: Chrono-Synergia Robust Progressive Learning Framework for Composed Image Retrieval [32.85064790572752]
  Composed Image Retrieval (CIR) はフレキシブルな画像検索パラダイムであり、ユーザーがターゲット画像の正確な位置を特定することができる。 本稿では、合成画像検索(HABIT)のためのcHrono-synergiA roBustプログレッシブIve学習フレームワークを提案する。 2つの標準CIRデータセットで実施された実験により、HABITは様々なノイズ比でほとんどの手法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2026-04-20T10:02:18Z)
• Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach [53.64487844936037]
  本手法は,顔,行動,音声の3つの相補的なモードを組み合わせる。 実験により,提案したマルチモーダル核融合戦略は, Aff-Wild2 開発セット上で0.658 の一致相関係数(CCC)を達成することを示した。
  論文  参考訳（メタデータ） (2026-03-13T15:06:14Z)
• Generative Editing in the Joint Vision-Language Space for Zero-Shot Composed Image Retrieval [11.724675700368316]
  Composed Image Retrieval (CIR)は、参照画像とテキスト修正を組み合わせることで、きめ細かいビジュアル検索を可能にする。 マルチモーダルアライメントのために設計された高効率・データ効率の新たな生成編集フレームワークであるFusion-Diffを提案する。
  論文  参考訳（メタデータ） (2025-12-01T13:04:55Z)
• VMDiff: Visual Mixing Diffusion for Limitless Cross-Object Synthesis [23.50866105623598]
  本稿では,ノイズレベルと潜時レベルの両方で2つの入力画像を統合することで,単一のコヒーレントオブジェクトを合成する拡散ベースフレームワークを提案する。 本手法は, 視覚的品質, 意味的整合性, 人格的創造性において, 高いベースラインを達成している。
  論文  参考訳（メタデータ） (2025-09-28T03:17:58Z)
• UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
  マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。 階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。 我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
  論文  参考訳（メタデータ） (2025-09-19T17:29:25Z)
• EGRA:Toward Enhanced Behavior Graphs and Representation Alignment for Multimodal Recommendation [50.848374648774374]
  MMR(MultiModal Recommendation)システムは、リッチな項目側モダリティ情報を活用することで、推奨品質を改善するための有望なソリューションとして登場した。 本稿では,事前学習したMMRモデルにより生成された表現から構築されたアイテム-イムグラフの挙動グラフを組み込んだEGRAを提案する。 また、両レベルの動的アライメント重み付け機構を導入し、モダリティ・ビヘイビアのアライメントアライメントを改善する。
  論文  参考訳（メタデータ） (2025-08-22T07:47:54Z)
• MCA: 2D-3D Retrieval with Noisy Labels via Multi-level Adaptive Correction and Alignment [15.028422887133972]
  頑健な2D-3D textbfMulti-level cross-modal adapt textbfCorrection and textbfAlignment framework (MCA)を提案する。 MCAは従来の3Dベンチマークと現実的な3Dベンチマークの両方で最先端のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2025-08-08T08:06:43Z)
• Robust Duality Learning for Unsupervised Visible-Infrared Person Re-Identification [24.24793934981947]
  擬似ラベルノイズ(PLN)を考慮した新しい学習パラダイムを提案する。 PLNはノイズオーバーフィット、エラー蓄積、ノイズの多いクラスタ対応の3つの主要な課題によって特徴づけられる。 UVI-ReIDのためのロバスト・デュナリティ学習フレームワーク(RoDE)を提案する。
  論文  参考訳（メタデータ） (2025-05-05T10:36:52Z)
• Zero-Shot Interactive Text-to-Image Retrieval via Diffusion-Augmented Representations [7.439049772394586]
  Diffusion Augmented Retrieval (DAR)はMLLMの微調整を完全に回避したパラダイムシフトフレームワークである。 DARは、Diffusion Model (DM) ベースの視覚合成を用いて、LLM(Large Language Model) 誘導クエリ改善をシナジし、文脈的にリッチな中間表現を生成する。
  論文  参考訳（メタデータ） (2025-01-26T03:29:18Z)
• Similarity Guided Multimodal Fusion Transformer for Semantic Location Prediction in Social Media [34.664388374279596]
  マルチモーダル投稿からユーザのセマンティックな位置を予測するためのSG-MFT(Simisity-Guided Fusion Transformer)を提案する。 まず,事前学習した大規模視覚言語モデルを用いて,高品質なテキストと画像表現を組み込む。 そこで我々は, 異質性やノイズ干渉を緩和するSimisity-Guided Interaction Module (SIM) を考案した。
  論文  参考訳（メタデータ） (2024-05-09T13:32:26Z)
• A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels [22.2715520667186]
  クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。 本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。 広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
  論文  参考訳（メタデータ） (2024-03-20T10:34:40Z)
• Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Incomplete Data Scenarios [23.43319138048058]
  実践シナリオにおけるマルチモーダル感情認識(MER)は、欠落したデータや不完全なデータの存在によって著しく困難である。 従来の手法では、データを捨てたり、データセグメントをゼロベクトルで置換することで、これらの不完全性を近似することが多い。 本稿では,雑音データから頑健なマルチモーダル関節表現を効果的に学習する新しいノイズローバストMERモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-21T10:49:02Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
  Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。 本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
  論文  参考訳（メタデータ） (2022-03-21T07:12:18Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• ANIMC: A Soft Framework for Auto-weighted Noisy and Incomplete Multi-view Clustering [59.77141155608009]
  本稿では, ソフトな自己重み付き戦略と2倍のソフトな正規回帰モデルを用いて, 自動重み付きノイズと不完全なマルチビュークラスタリングフレームワーク(ANIMC)を提案する。 ANIMCには3つの独特な利点がある: 1) 異なるシナリオでフレームワークを調整し、その一般化能力を向上させるソフトアルゴリズム、2) 各ビューに対する適切な重み付けを自動的に学習し、ノイズの影響を低減し、3) 異なるビューで同じインスタンスを整列させ、欠落したインスタンスの影響を減少させる。
  論文  参考訳（メタデータ） (2020-11-20T10:37:27Z)
• Dynamic Dual-Attentive Aggregation Learning for Visible-Infrared Person Re-Identification [208.1227090864602]
  Visible-infrared person re-identification (VI-ReID) は、歩行者検索の課題である。 既存のVI-ReID法は、識別可能性に制限があり、ノイズの多い画像に対して弱いロバスト性を持つグローバル表現を学習する傾向にある。 そこで我々は,VI-ReIDのための動的二段階集合(DDAG)学習法を提案する。
  論文  参考訳（メタデータ） (2020-07-18T03:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。