論文の概要: Learning Modality Knowledge Alignment for Cross-Modality Transfer

• arxiv url: http://arxiv.org/abs/2406.18864v1
• Date: Thu, 27 Jun 2024 03:23:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 15:17:37.594905
• Title: Learning Modality Knowledge Alignment for Cross-Modality Transfer
• Title（参考訳）: 相互モダリティ伝達のためのモダリティ知識アライメントの学習
• Authors: Wenxuan Ma, Shuang Li, Lincan Cai, Jingxuan Kang,
• Abstract要約: クロスモダリティ転送は、事前訓練されたデータのモダリティに属さないかもしれないタスクを完了するために、大きな事前訓練されたモデルを活用することを目的としている。 既存の研究は古典的な微調整をクロスモーダルなシナリオに拡張することに成功したが、移行に対するモダリティギャップの影響についてはまだ理解されていない。 移動前のモダリティ知識の相違を低減するために、ターゲットデータ変換を学習するメタラーニング手法であるModality kNowledge Alignment(MoNA)を提案する。
• 参考スコア（独自算出の注目度）: 9.19049344360835
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-modality transfer aims to leverage large pretrained models to complete tasks that may not belong to the modality of pretraining data. Existing works achieve certain success in extending classical finetuning to cross-modal scenarios, yet we still lack understanding about the influence of modality gap on the transfer. In this work, a series of experiments focusing on the source representation quality during transfer are conducted, revealing the connection between larger modality gap and lesser knowledge reuse which means ineffective transfer. We then formalize the gap as the knowledge misalignment between modalities using conditional distribution P(Y|X). Towards this problem, we present Modality kNowledge Alignment (MoNA), a meta-learning approach that learns target data transformation to reduce the modality knowledge discrepancy ahead of the transfer. Experiments show that out method enables better reuse of source modality knowledge in cross-modality transfer, which leads to improvements upon existing finetuning methods.
• Abstract（参考訳）: クロスモダリティ転送は、事前訓練されたデータのモダリティに属さないかもしれないタスクを完了するために、大きな事前訓練されたモデルを活用することを目的としている。 既存の研究は古典的な微調整をクロスモーダルなシナリオに拡張することに成功したが、移行に対するモダリティギャップの影響についてはまだ理解されていない。 本研究は,移動中のソース表現品質に着目した一連の実験を行い,より大きなモダリティギャップと非効率な移動を意味する知識再利用の関連を明らかにする。 次に、条件分布 P(Y|X) を用いて、モダリティ間の知識ミスアライメントとしてギャップを定式化する。 そこで本研究では,モダリティ・kNowledge Alignment (MoNA) を提案する。モダリティ・ナレッジ・アライメント(Modality kNowledge Alignment) は,モダリティ・ナレッジ・アライメント(モダリティ・ナレッジ・アライメント)において,モダリティ・アライメント(モダリティ・アライメント,モダリティ・ナレッジ・アライメント,モダリティ・アライメント,モダリティ・アライメント,モダリティ・アライメント,モダリティ・アライメント,モダリティ・アライメント,モダリティ・アライメント 実験により, ソースモダリティの伝達において, ソースモダリティ知識の再利用性が向上し, 既存のファインタニング手法の改善が期待できることがわかった。

関連論文リスト

• Encapsulating Knowledge in One Prompt [56.31088116526825]
  KiOPは、元のモデルを変更したり、トレーニングデータにアクセスする必要なしに、さまざまなモデルからの知識を単独のプロンプトにカプセル化する。 実用性の観点から、このパラダイムは、データアクセス不能なコンテキストにおけるVisual Promptの有効性を証明している。 様々なデータセットとモデルを用いた実験は、提案したKiOP知識伝達パラダイムの有効性を示す。
  論文  参考訳（メタデータ） (2024-07-16T16:35:23Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• Robust Transfer Learning with Unreliable Source Data [13.276850367115333]
  対象関数とソース回帰関数との差を測定する「あいまい度レベル」と呼ばれる新しい量を導入する。 本稿では, 簡単な伝達学習手法を提案し, この新しい量が学習の伝達可能性にどのように関係しているかを示す一般的な定理を確立する。
  論文  参考訳（メタデータ） (2023-10-06T21:50:21Z)
• One-stage Modality Distillation for Incomplete Multimodal Learning [7.791488931628906]
  本稿では,特権的知識伝達とモダリティ情報融合を一体化する一段階のモダリティ蒸留フレームワークを提案する。 提案手法は,各シーンにおける不完全なモダリティ入力の問題を克服し,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-09-15T07:12:27Z)
• Analysis of Task Transferability in Large Pre-trained Classifiers [11.517862889784293]
  対象タスクに対して,最終線形層のみを微調整した場合に,分類タスクのパフォーマンスの伝達を解析する。 本稿では,クラス事前分布,ラベル,特徴空間を変更することで,ソース分布(および分類器)を変換するタスク伝達解析手法を提案する。 我々は、最先端の事前訓練モデルを用いて大規模な実証研究を行い、転送可能性の予測における境界と最適化の有効性を実証した。
  論文  参考訳（メタデータ） (2023-07-03T08:06:22Z)
• CLIP-Driven Fine-grained Text-Image Person Re-identification [50.94827165464813]
  TIReIDは、候補画像のプールから与えられたテキストクエリに対応する画像を取得することを目的としている。 TIReIDにおけるCLIPの強力な知識をフル活用するための,CLIP駆動のきめ細かい情報抽出フレームワーク(CFine)を提案する。
  論文  参考訳（メタデータ） (2022-10-19T03:43:12Z)
• CARTL: Cooperative Adversarially-Robust Transfer Learning [22.943270371841226]
  ディープラーニングでは、トランスファーラーニングの典型的な戦略は、事前訓練されたモデルの初期のレイヤを凍結し、ターゲットドメイン上の残りのレイヤを微調整することである。 本稿では,特徴距離の最小化によるモデル事前学習と,対象領域タスクに対する非拡張的微調整による事前学習により,協調的逆転変換学習(CARTL)を提案する。
  論文  参考訳（メタデータ） (2021-06-12T02:29:55Z)
• Continuous Transition: Improving Sample Efficiency for Continuous Control Problems via MixUp [119.69304125647785]
  本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。 具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。 また, 建設過程を自動案内する判別器を開発した。
  論文  参考訳（メタデータ） (2020-11-30T01:20:23Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Transfer Heterogeneous Knowledge Among Peer-to-Peer Teammates: A Model Distillation Approach [55.83558520598304]
  本研究は, モデル蒸留により, 複数の学生間で経験と伝達値関数を再利用する新しい手法を提案する。 また、異種知識を活用するための効率的な通信プロトコルの設計方法について述べる。 提案するフレームワークである学習・指導カテゴリー強化は,学習の進捗を安定化・加速する上で有望な性能を示す。
  論文  参考訳（メタデータ） (2020-02-06T11:31:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。