Fugu-MT 論文翻訳(概要): Modular and Parameter-Efficient Multimodal Fusion with Prompting

論文の概要: Modular and Parameter-Efficient Multimodal Fusion with Prompting

arxiv url: http://arxiv.org/abs/2203.08055v1
Date: Tue, 15 Mar 2022 16:50:15 GMT
ステータス: 処理完了
システム内更新日: 2022-03-16 14:56:34.332410
Title: Modular and Parameter-Efficient Multimodal Fusion with Prompting
Title（参考訳）: プロンプティングによるモジュール・パラメータ効率多モード核融合
Authors: Sheng Liang, Mengjie Zhao, Hinrich Sch\"utze
Abstract要約: 提案手法は,低リソース環境下でのマルチモーダル融合法に匹敵する性能を実現する。本手法は,2つ以上のデータモダリティを含むタスクの処理において,モジュール構造であり,パラメータ効率が高い。
参考スコア（独自算出の注目度）: 4.2854066077037265
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent research has made impressive progress in large-scale multimodal pre-training. In the context of the rapid growth of model size, it is necessary to seek efficient and flexible methods other than finetuning. In this paper, we propose to use prompt vectors to align the modalities. Our method achieves comparable performance to several other multimodal fusion methods in low-resource settings. We further show that our method is modular and parameter-efficient for processing tasks involving two or more data modalities.
Abstract（参考訳）: 最近の研究は、大規模マルチモーダル事前訓練において顕著な進歩を遂げている。モデルサイズの急速な成長の文脈では、微調整以外の効率的で柔軟な方法を求める必要がある。本稿では,プロンプトベクトルを用いてモダリティを整列する手法を提案する。本手法は,低リソース環境下でのマルチモーダル融合法と同等の性能を実現する。さらに,提案手法は2つ以上のデータモダリティを含むタスクの処理において,モジュラーかつパラメータ効率が良いことを示す。

関連論文リスト

Alt-MoE: Multimodal Alignment via Alternating Optimization of Multi-directional MoE with Unimodal Models [7.134682404460003]
そこで我々は、MoE(Mixture of Experts)をモダリティにまたがる統一多方向コネクタとして利用する、新しいトレーニングフレームワークAlt-MoEを紹介する。我々の手法は、いくつかの優れたユニモーダルモデルで検証されている。
論文参考訳（メタデータ） (2024-09-09T10:40:50Z)
Centering the Value of Every Modality: Towards Efficient and Resilient Modality-agnostic Semantic Segmentation [7.797154022794006]
最近の試みでは、RGBのモダリティを中心とみなし、その他を補助的とみなし、2つの枝を持つ非対称なアーキテクチャを生み出している。本稿では,コンパクトモデルから高性能モデルまで,様々なバックボーンと柔軟にペアリングできるMAGICという新しい手法を提案する。提案手法は, モデルパラメータを60%削減しつつ, 最先端性能を実現する。
論文参考訳（メタデータ） (2024-07-16T03:19:59Z)
Model Composition for Multimodal Large Language Models [71.5729418523411]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文参考訳（メタデータ） (2024-02-20T06:38:10Z)
CREMA: Generalizable and Efficient Video-Language Reasoning via Multimodal Modular Fusion [58.15403987979496]
CREMAは、ビデオ推論のための一般化可能、高効率、モジュラリティ融合フレームワークである。本稿では,軽量核融合モジュールとモーダリティ・シークエンシャル・トレーニング・ストラテジーによって支援された,新しいプログレッシブ・マルチモーダル・フュージョン設計を提案する。ビデオQA や Video-Audio/3D/Touch/Thermal QA を含む7つのビデオ言語推論タスクについて検証を行った。
論文参考訳（メタデータ） (2024-02-08T18:27:22Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
論文参考訳（メタデータ） (2023-11-06T13:56:57Z)
BYOM: Building Your Own Multi-Task Model For Free [69.63765907216442]
BYOM-FFTは完全微調整モデルのマージ用であり、BYOM-LoRAはLoRA微調整モデルのマージ用である。コンピュータビジョンと自然言語処理タスクの実験により、提案手法は既存のマージ手法よりも大きなマージ率で優れていることが示された。
論文参考訳（メタデータ） (2023-10-03T08:39:33Z)
Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
論文参考訳（メタデータ） (2023-04-13T07:31:51Z)
Multimodal E-Commerce Product Classification Using Hierarchical Fusion [0.0]
提案手法は,本課題における一助モデルの性能と類似モデルの性能を有意に向上させた。我々は,複数のヒューズ技術を用いて実験を行い,単一モーダルネットワークの個別埋め込みを結合する最も優れた手法は,結合と特徴ベクトルの平均化によるものであることを確認した。
論文参考訳（メタデータ） (2022-07-07T14:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。