論文の概要: DeepSuM: Deep Sufficient Modality Learning Framework

• arxiv url: http://arxiv.org/abs/2503.01728v1
• Date: Mon, 03 Mar 2025 16:48:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:14:10.664238
• Title: DeepSuM: Deep Sufficient Modality Learning Framework
• Title（参考訳）: DeepSuM: 十分なモダリティ学習フレームワーク
• Authors: Zhe Gao, Jian Huang, Ting Li, Xueqin Wang,
• Abstract要約: 本稿では,各モダリティの表現を独立に学習するモダリティ選択のための新しいフレームワークを提案する。 本フレームワークは,モダリティ統合と選択を最適化することにより,マルチモーダル学習の効率性と有効性を高めることを目的としている。
• 参考スコア（独自算出の注目度）: 6.455939667961427
• License:
• Abstract: Multimodal learning has become a pivotal approach in developing robust learning models with applications spanning multimedia, robotics, large language models, and healthcare. The efficiency of multimodal systems is a critical concern, given the varying costs and resource demands of different modalities. This underscores the necessity for effective modality selection to balance performance gains against resource expenditures. In this study, we propose a novel framework for modality selection that independently learns the representation of each modality. This approach allows for the assessment of each modality's significance within its unique representation space, enabling the development of tailored encoders and facilitating the joint analysis of modalities with distinct characteristics. Our framework aims to enhance the efficiency and effectiveness of multimodal learning by optimizing modality integration and selection.
• Abstract（参考訳）: マルチモーダル学習は、マルチメディア、ロボティクス、大規模言語モデル、ヘルスケアにまたがるアプリケーションで堅牢な学習モデルを開発する上で、重要なアプローチとなっている。 様々なモダリティの様々なコストとリソース要求を考えると、マルチモーダルシステムの効率は重要な問題である。 このことは、資源支出に対するパフォーマンスゲインのバランスをとるための効果的なモダリティ選択の必要性を浮き彫りにしている。 本研究では,各モダリティの表現を独立に学習する,モダリティ選択のための新しいフレームワークを提案する。 このアプローチは、それぞれのモダリティの重要性をそれぞれの表現空間内で評価することを可能にし、調整エンコーダの開発を可能にし、異なる特徴を持つモダリティの合同解析を容易にする。 本フレームワークは,モダリティ統合と選択を最適化することにより,マルチモーダル学習の効率性と有効性を高めることを目的としている。

関連論文リスト

• Asymmetric Reinforcing against Multi-modal Representation Bias [59.685072206359855]
  マルチモーダル表現バイアス(ARM)に対する非対称強化法を提案する。 我々のARMは、条件付き相互情報を通じて支配的なモダリティを表現する能力を維持しながら、弱いモダリティを動的に強化する。 我々はマルチモーダル学習の性能を著しく改善し、不均衡なマルチモーダル学習の軽減に顕著な進展をもたらした。
  論文  参考訳（メタデータ） (2025-01-02T13:00:06Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)
• Beyond Unimodal Learning: The Importance of Integrating Multiple Modalities for Lifelong Learning [23.035725779568587]
  ディープニューラルネットワーク(DNN)におけるマルチモーダル性の役割と相互作用について検討する。 以上の結果から,複数のビューと相補的な情報を複数のモーダルから活用することで,より正確かつ堅牢な表現を学習できることが示唆された。 本稿では,各モーダルにおけるデータ点間の関係構造的類似性を利用して,異なるモーダルからの情報の統合と整合化を行う手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:58Z)
• Attribution Regularization for Multimodal Paradigms [7.1262539590168705]
  マルチモーダル機械学習は、学習と意思決定プロセスを強化するために、複数のモーダルからの情報を統合することができる。 ユニモーダルモデルは、よりリッチな情報にアクセスできるにもかかわらず、マルチモーダルモデルより優れていることがよく見られる。 本研究は,マルチモーダルモデルの意思決定において,すべてのモーダルからの情報を効果的に活用するための新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2024-04-02T23:05:56Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Towards Balanced Active Learning for Multimodal Classification [15.338417969382212]
  マルチモーダルネットワークのトレーニングには、ユニモーダルネットワークと比較してパラメータ空間が大きいため、膨大な量のデータが必要である。 アクティブラーニングは、モデルの性能向上に寄与するサンプルのみを選択することで、データアノテーションコストを削減するために広く使われているテクニックである。 現在のアクティブラーニング戦略は、主に一助的なタスクのために設計されており、マルチモーダルデータに適用すると、支配的なモダリティからのサンプル選択にバイアスがかかることがしばしばある。
  論文  参考訳（メタデータ） (2023-06-14T07:23:36Z)
• Improving Multi-Modal Learning with Uni-Modal Teachers [14.917618203952479]
  そこで本研究では,融合目標と一様蒸留を組み合わせたマルチモーダル学習手法Uni-Modal Teacherを提案する。 提案手法は,各モードの表現を劇的に改善するだけでなく,総合的なマルチモーダルタスク性能も向上することを示す。
  論文  参考訳（メタデータ） (2021-06-21T12:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。