論文の概要: Robust Domain Generalization for Multi-modal Object Recognition

• arxiv url: http://arxiv.org/abs/2408.05831v1
• Date: Sun, 11 Aug 2024 17:13:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:15:52.380504
• Title: Robust Domain Generalization for Multi-modal Object Recognition
• Title（参考訳）: マルチモーダル物体認識のためのロバスト領域一般化
• Authors: Yuxin Qiao, Keqin Li, Junhong Lin, Rong Wei, Chufeng Jiang, Yang Luo, Haoyu Yang,
• Abstract要約: マルチラベル分類において、機械学習は、トレーニングデータから異なる分布でタスクを処理する際に、ドメインの一般化の課題に直面する。 視覚言語プレトレーニングの最近の進歩は、広範囲にわたる視覚言語ペアの監視を活用し、多様なドメインでの学習を可能にしている。 本稿では、実際の損失を推定し、より大きな視覚言語バックボーンに対する評価を拡大し、Mixup-CLIPoodを導入することで解決策を提案する。
• 参考スコア（独自算出の注目度）: 14.128747255526012
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-label classification, machine learning encounters the challenge of domain generalization when handling tasks with distributions differing from the training data. Existing approaches primarily focus on vision object recognition and neglect the integration of natural language. Recent advancements in vision-language pre-training leverage supervision from extensive visual-language pairs, enabling learning across diverse domains and enhancing recognition in multi-modal scenarios. However, these approaches face limitations in loss function utilization, generality across backbones, and class-aware visual fusion. This paper proposes solutions to these limitations by inferring the actual loss, broadening evaluations to larger vision-language backbones, and introducing Mixup-CLIPood, which incorporates a novel mix-up loss for enhanced class-aware visual fusion. Our method demonstrates superior performance in domain generalization across multiple datasets.
• Abstract（参考訳）: マルチラベル分類において、機械学習は、トレーニングデータとは異なる分布を伴うタスクを扱う際に、ドメインの一般化の課題に遭遇する。 既存のアプローチは主に視覚オブジェクト認識に焦点を当て、自然言語の統合を無視している。 視覚言語プレトレーニングの最近の進歩は、広範囲な視覚言語ペアの監視を活用し、多様なドメインをまたいだ学習を可能にし、マルチモーダルシナリオでの認識を高める。 しかし、これらのアプローチは損失関数の利用、バックボーン間の一般化、クラス認識型視覚融合の制限に直面している。 本稿では,これらの制約を,実際の損失を推定し,より大きな視覚言語バックボーンに対する評価を拡大し,クラス認識型視覚融合に新たな混合損失を組み込んだMixup-CLIPoodを提案する。 提案手法は,複数のデータセットにまたがる領域一般化において,優れた性能を示す。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Transitive Vision-Language Prompt Learning for Domain Generalization [41.484858946789664]
  ビジョン言語による事前トレーニングにより、ディープモデルは、目に見えないドメインをまたがる一般化において、大きな一歩を踏み出した。 しかし、ドメインの不変性とクラス分離性の間のトレードオフがまだ進行しているという問題がまだ残っている。
  論文  参考訳（メタデータ） (2024-04-29T14:56:11Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• Split to Merge: Unifying Separated Modalities for Unsupervised Domain Adaptation [25.499205902426716]
  教師なしドメイン適応のための統一モダリティ分離(UniMoS)フレームワークを導入する。 私たちは,CLIPの機能を言語関連コンポーネントと視覚関連コンポーネントに明確に分離する,スウィンブルなモダリティ分離ネットワークを構築した。 モダリティ・アンサンブル・トレーニング(MET)法は,モダリティ・アンサンブル情報の交換を促進する。
  論文  参考訳（メタデータ） (2024-03-11T17:33:12Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Multi-Scale and Multi-Layer Contrastive Learning for Domain Generalization [5.124256074746721]
  深部畳み込みニューラルネットワークの一般化能力は、ネットワークの多層的および多スケール的表現を活用することで向上できると論じる。 画像分類器の領域一般化を目的とした,低レベル特徴と高レベル特徴を複数スケールで組み合わせたフレームワークを提案する。 我々のモデルは従来のDG手法よりも優れており、全てのデータセットにおいて競争力と最先端の結果を連続的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-08-28T08:54:27Z)
• OmDet: Large-scale vision-language multi-dataset pre-training with multimodal detection network [17.980765138522322]
  この研究は、新しい言語対応のオブジェクト検出アーキテクチャであるOmDetを紹介した。 自然言語を普遍的な知識表現として活用することで、OmDetは多様なデータセットから"視覚語彙"を蓄積する。 我々は,OmDetが野生におけるオブジェクト検出,オープンボキャブラリ検出,句接地において,強いベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-10T14:25:14Z)
• INDIGO: Intrinsic Multimodality for Domain Generalization [26.344372409315177]
  マルチモーダル情報がどのように「本質的な」方法で活用され、システムが目に見えない領域の下で一般化されるかを検討する。 IntriNsic multimodality for DomaIn GeneralizatiOn (INDIGO)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T05:41:09Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Deep Partial Multi-View Learning [94.39367390062831]
  クロスパーシャル・マルチビュー・ネットワーク(CPM-Nets)と呼ばれる新しいフレームワークを提案する。 我々はまず、多視点表現に対する完全性と汎用性の形式的な定義を提供する。 そして、理論的に学習された潜在表現の多元性を証明する。
  論文  参考訳（メタデータ） (2020-11-12T02:29:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。