Fugu-MT 論文翻訳(概要): Enhancing Cross-Modal Fine-Tuning with Gradually Intermediate Modality Generation

論文の概要: Enhancing Cross-Modal Fine-Tuning with Gradually Intermediate Modality Generation

arxiv url: http://arxiv.org/abs/2406.09003v1
Date: Thu, 13 Jun 2024 11:12:46 GMT
ステータス: 処理完了
システム内更新日: 2024-06-14 18:24:52.063959
Title: Enhancing Cross-Modal Fine-Tuning with Gradually Intermediate Modality Generation
Title（参考訳）: 段階的中間モード生成によるクロスモーダルファインチューニングの強化
Authors: Lincan Cai, Shuang Li, Wenxuan Ma, Jingxuan Kang, Binhui Xie, Zixun Sun, Chengwei Zhu,
Abstract要約: 本稿では,クロスモーダルファインチューニングを強化するために,エンドツーエンドのPaReを提案する。 PaReは、大規模な事前訓練されたモデルを、様々なターゲットモダリティに転送することを目的としている。ハンドデザイン、汎用、タスク特化、最先端のクロスモーダル微調整アプローチと比較すると、PaReは優れたパフォーマンスを示している。
参考スコア（独自算出の注目度）: 12.877256055338517
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large-scale pretrained models have proven immensely valuable in handling data-intensive modalities like text and image. However, fine-tuning these models for certain specialized modalities, such as protein sequence and cosmic ray, poses challenges due to the significant modality discrepancy and scarcity of labeled data. In this paper, we propose an end-to-end method, PaRe, to enhance cross-modal fine-tuning, aiming to transfer a large-scale pretrained model to various target modalities. PaRe employs a gating mechanism to select key patches from both source and target data. Through a modality-agnostic Patch Replacement scheme, these patches are preserved and combined to construct data-rich intermediate modalities ranging from easy to hard. By gradually intermediate modality generation, we can not only effectively bridge the modality gap to enhance stability and transferability of cross-modal fine-tuning, but also address the challenge of limited data in the target modality by leveraging enriched intermediate modality data. Compared with hand-designed, general-purpose, task-specific, and state-of-the-art cross-modal fine-tuning approaches, PaRe demonstrates superior performance across three challenging benchmarks, encompassing more than ten modalities.
Abstract（参考訳）: 大規模事前訓練されたモデルは、テキストや画像などのデータ集約的なモダリティを扱う上で、非常に価値があることが証明されている。しかし、タンパク質配列や宇宙線のような特定の特定のモダリティのためにこれらのモデルを微調整すると、ラベル付きデータの顕著なモダリティの相違と不足のために困難が生じる。本稿では, 大規模事前学習モデルから様々な目標モードへの変換を目的とした, クロスモーダル微調整の高速化を目的とした, エンドツーエンドのPaReを提案する。 PaReは、ソースデータとターゲットデータの両方からキーパッチを選択するためのゲーティングメカニズムを採用している。モダリティ非依存のパッチ置換スキームにより、これらのパッチは保存され、結合され、データに富む中間のモダリティが簡単からハードまで構築される。段階的に中間モダリティ生成を行うことで、モダリティギャップを効果的にブリッジして、クロスモーダル微調整の安定性と伝達性を高めるだけでなく、リッチな中間モダリティデータを活用することで、目標モダリティにおける制限データの問題にも対処できる。手書き、汎用、タスク特化、最先端のクロスモーダルな微調整アプローチと比較して、PaReは10以上のモダリティを含む3つの挑戦的なベンチマークで優れたパフォーマンスを示している。

関連論文リスト

Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
論文参考訳（メタデータ） (2024-10-29T03:49:40Z)
MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文参考訳（メタデータ） (2024-10-12T07:02:33Z)
Leveraging Weak Cross-Modal Guidance for Coherence Modelling via Iterative Learning [66.28872204574648]
クロスモーダル・コヒーレンス・モデリングは、知的なシステムが情報を整理し構造化するのに不可欠である。クロスモーダル・コヒーレンス・モデリングに関するこれまでの研究は、目標モーダルのコヒーレンス回復を支援するために、他のモーダルからの順序情報を活用することを試みた。本報告では,コヒーレンシーに金のラベルを付けることなく,クロスモーダルガイダンスを活用する新しい手法について検討する。
論文参考訳（メタデータ） (2024-08-01T06:04:44Z)
Robust Latent Representation Tuning for Image-text Classification [9.789498730131607]
大規模モデルに対する頑健な潜在表現チューニング手法を提案する。提案手法では,モダリティ間の相関を最大化するために,モダリティ潜在翻訳モジュールを導入し,ロバストな表現を実現する。このフレームワークでは、トレーニング中に共通セマンティクスが洗練され、1つのモダリティがなくてもロバストなパフォーマンスが達成される。
論文参考訳（メタデータ） (2024-06-10T06:29:00Z)
Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
論文参考訳（メタデータ） (2024-06-04T06:07:24Z)
A Unified Optimal Transport Framework for Cross-Modal Retrieval with Noisy Labels [22.2715520667186]
クロスモーダル検索(CMR)は、異なるモーダル間の相互作用を確立することを目的としている。本研究は,ロバスト・クロスモーダル検索のための最適輸送(OT)に基づく統一フレームワークであるUTT-RCLを提案する。広範に使用されている3つのクロスモーダル検索データセットの実験は、我々のOT-RCLが最先端のアプローチを超越していることを示している。
論文参考訳（メタデータ） (2024-03-20T10:34:40Z)
One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-09-15T07:12:27Z)
Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文参考訳（メタデータ） (2023-08-10T08:43:20Z)
BiCro: Noisy Correspondence Rectification for Multi-modality Data via Bi-directional Cross-modal Similarity Consistency [66.8685113725007]
BiCroは、ノイズの多いデータペアのソフトラベルを推定して、その真の対応度を反映することを目的としている。 3つの一般的なクロスモーダルマッチングデータセットの実験により、BiCroは様々なマッチングモデルのノイズ・ロバスト性を大幅に改善することを示した。
論文参考訳（メタデータ） (2023-03-22T09:33:50Z)
Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2023-02-11T16:32:28Z)
Cross-modal Center Loss [28.509817129759014]
クロスモーダル検索は、異なるモーダルからデータに対する識別的およびモーダル不変の特徴を学習することを目的としている。本稿では,メタデータを用いたクロスモーダル検索フレームワークのコンポーネントを共同で学習する手法を提案する。提案するフレームワークは,ModelNet40データセットの最先端メソッドを著しく上回っている。
論文参考訳（メタデータ） (2020-08-08T17:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。