論文の概要: Knowledge Bridger: Towards Training-free Missing Multi-modality Completion

• arxiv url: http://arxiv.org/abs/2502.19834v3
• Date: Tue, 11 Mar 2025 01:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 12:20:04.963284
• Title: Knowledge Bridger: Towards Training-free Missing Multi-modality Completion
• Title（参考訳）: Knowledge Bridger: トレーニング不要なマルチモダリティ補完を目指して
• Authors: Guanzhou Ke, Shengfeng He, Xiao Li Wang, Bo Wang, Guoqing Chao, Yuanyang Zhang, Yi Xie, HeXing Su,
• Abstract要約: 「知識ブリッジ」はモダリティに依存しないものであり、欠落したモダリティの生成とランキングを統合している。 一般領域と医療領域をまたいだ実験結果から,本手法は競合する手法よりも一貫して優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 29.080233353655732
• License:
• Abstract: Previous successful approaches to missing modality completion rely on carefully designed fusion techniques and extensive pre-training on complete data, which can limit their generalizability in out-of-domain (OOD) scenarios. In this study, we pose a new challenge: can we develop a missing modality completion model that is both resource-efficient and robust to OOD generalization? To address this, we present a training-free framework for missing modality completion that leverages large multimodal models (LMMs). Our approach, termed the "Knowledge Bridger", is modality-agnostic and integrates generation and ranking of missing modalities. By defining domain-specific priors, our method automatically extracts structured information from available modalities to construct knowledge graphs. These extracted graphs connect the missing modality generation and ranking modules through the LMM, resulting in high-quality imputations of missing modalities. Experimental results across both general and medical domains show that our approach consistently outperforms competing methods, including in OOD generalization. Additionally, our knowledge-driven generation and ranking techniques demonstrate superiority over variants that directly employ LMMs for generation and ranking, offering insights that may be valuable for applications in other domains.
• Abstract（参考訳）: それまでのモダリティの完全性の欠如に対するアプローチは、慎重に設計された融合技術と、完全なデータに対する広範な事前訓練に依存しており、ドメイン外(OOD)シナリオにおけるそれらの一般化性を制限することができる。 本研究では,OODの一般化に対して資源効率と堅牢性を両立させたモダリティ完備化モデルの開発が可能であるか,という課題を提起する。 そこで本稿では,大規模マルチモーダルモデル (LMM) を利用したモダリティ補完の欠如に対するトレーニングフリーフレームワークを提案する。 Knowledge Bridger"と呼ばれる我々のアプローチは、モダリティに依存しないものであり、欠落したモダリティの生成とランキングを統合する。 ドメイン固有の事前情報を定義することにより、利用可能なモダリティから構造化情報を自動的に抽出し、知識グラフを構築する。 これらの抽出されたグラフは、LMMを通して欠落したモダリティ生成とランキングモジュールを結合し、欠落したモダリティの高品質な計算をもたらす。 一般領域と医療領域の両方にわたる実験結果から,本手法はOOD一般化を含む競合する手法より一貫して優れていたことが示唆された。 さらに、我々の知識駆動型生成とランキング技術は、LMMを生成とランキングに直接採用する変種よりも優れており、他の領域のアプリケーションに有用な洞察を提供する。

関連論文リスト

• AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation [2.8498944632323755]
  臨床実践において、フルイメージングは必ずしも実現可能ではなく、多くの場合、複雑な取得プロトコル、厳格なプライバシ規則、特定の臨床ニーズのためである。 有望な解決策は、利用可能なものから欠落したモダリティが生成されるデータ計算の欠如である。 適応多モード拡散ネットワーク (AMM-Diff) を提案する。
  論文  参考訳（メタデータ） (2025-01-22T12:29:33Z)
• Towards Modality Generalization: A Benchmark and Prospective Analysis [56.84045461854789]
  本稿では,モダリティ・ジェネリゼーション(MG)について述べる。 マルチモーダルアルゴリズムを特徴とする包括的ベンチマークを提案し,一般化に着目した既存手法を適用した。 私たちの研究は、堅牢で適応可能なマルチモーダルモデルを進化させる基盤を提供し、現実的なシナリオで目に見えないモダリティを扱えるようにします。
  論文  参考訳（メタデータ） (2024-12-24T08:38:35Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• Missing Modality Prediction for Unpaired Multimodal Learning via Joint Embedding of Unimodal Models [6.610033827647869]
  実世界のシナリオでは、完全なマルチモーダルデータを一貫して取得することは重大な課題である。 これはしばしば、特定のモダリティのデータが欠落しているモダリティの問題につながる。 自己教師型共同埋め込み学習手法を用いて, パラメータ効率のよい未学習モデルの微調整を行う新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-17T14:44:25Z)
• Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
  現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。 本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。 本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
  論文  参考訳（メタデータ） (2024-06-04T06:07:24Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
  ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-11T16:32:28Z)
• Combining State-of-the-Art Models with Maximal Marginal Relevance for Few-Shot and Zero-Shot Multi-Document Summarization [0.6690874707758508]
  多文書要約(MDS)は、単一文書要約(SDS)によって生じるものよりも多くの課題を研究者にもたらす 我々は,MMR(Maximal marginal Relevance)を用いた最先端モデルの出力の組み合わせ戦略を提案する。 我々のMMRベースのアプローチは、少数ショットMDSアプリケーションとゼロショットMDSアプリケーションの両方において、現在の最先端の成果のいくつかの側面よりも改善されている。
  論文  参考訳（メタデータ） (2022-11-19T21:46:31Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification [59.326456778057384]
  本稿では,メモリベースのマルチソースメタラーニングフレームワークを提案する。 また,メタテスト機能を多様化するメタバッチ正規化層(MetaBN)を提案する。 実験により、M$3$Lは、目に見えない領域に対するモデルの一般化能力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2020-12-01T11:38:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。