論文の概要: On the Use of Modality-Specific Large-Scale Pre-Trained Encoders for
Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2210.15937v1
- Date: Fri, 28 Oct 2022 06:48:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-31 16:59:19.235227
- Title: On the Use of Modality-Specific Large-Scale Pre-Trained Encoders for
Multimodal Sentiment Analysis
- Title(参考訳): モダリティに特有な大規模事前学習エンコーダを用いたマルチモーダル感情分析
- Authors: Atsushi Ando, Ryo Masumura, Akihiko Takashima, Satoshi Suzuki, Naoki
Makishima, Keita Suzuki, Takafumi Moriya, Takanori Ashihara, Hiroshi Sato
- Abstract要約: ドメイン固有の事前訓練エンコーダを持つメソッドは、非モーダルおよびマルチモーダルの両方のシナリオで従来の機能を持つ方法よりも優れたパフォーマンスが得られる。
また、エンコーダの中間層の出力を出力層の出力よりも使用した方がよいことも分かりました。
- 参考スコア(独自算出の注目度): 27.497457891521538
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the effectiveness and implementation of
modality-specific large-scale pre-trained encoders for multimodal sentiment
analysis~(MSA). Although the effectiveness of pre-trained encoders in various
fields has been reported, conventional MSA methods employ them for only
linguistic modality, and their application has not been investigated. This
paper compares the features yielded by large-scale pre-trained encoders with
conventional heuristic features. One each of the largest pre-trained encoders
publicly available for each modality are used; CLIP-ViT, WavLM, and BERT for
visual, acoustic, and linguistic modalities, respectively. Experiments on two
datasets reveal that methods with domain-specific pre-trained encoders attain
better performance than those with conventional features in both unimodal and
multimodal scenarios. We also find it better to use the outputs of the
intermediate layers of the encoders than those of the output layer. The codes
are available at https://github.com/ando-hub/MSA_Pretrain.
- Abstract(参考訳): 本稿では,マルチモーダル感情分析のためのモダリティ固有の大規模事前学習エンコーダの有効性と実装について検討する。
各種分野における事前学習エンコーダの有効性は報告されているが,従来のMSA法では言語的モダリティのみに使用されており,その応用は検討されていない。
本稿では,大規模な事前学習エンコーダと従来のヒューリスティックな特徴を比較する。
各モダリティのために公開されている最大のプリトレーニングエンコーダの1つ、クリップvit、wavlm、bertは視覚的、音響的、言語的モダリティのために使用される。
2つのデータセットの実験により、ドメイン固有の事前訓練エンコーダを持つメソッドは、単調なシナリオとマルチモーダルなシナリオの両方で従来の機能を持つ方法よりも優れたパフォーマンスが得られることが明らかになった。
また、エンコーダの中間層の出力を出力層の出力よりも使用した方がよいことも分かりました。
コードはhttps://github.com/ando-hub/msa_pretrainで入手できる。
関連論文リスト
- Refine, Discriminate and Align: Stealing Encoders via Sample-Wise Prototypes and Multi-Relational Extraction [57.16121098944589]
RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。
これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。
より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
論文 参考訳(メタデータ) (2023-12-01T15:03:29Z) - How to get better embeddings with code pre-trained models? An empirical
study [6.220333404184779]
下流分類タスクの埋め込みを生成するために,5つの異なるコード事前訓練モデル(PTM)について検討する。
特別なトークンによって得られた埋め込みは、コードスニペット全体の意味情報を十分に集約していないことが分かりました。
PTMの事前学習と同様、コードデータとテキストデータをマージして得られるコード埋め込みの品質は低く、よりリッチなセマンティック情報を保証できない。
論文 参考訳(メタデータ) (2023-11-14T10:44:21Z) - An Exploration of Encoder-Decoder Approaches to Multi-Label
Classification for Legal and Biomedical Text [20.100081284294973]
マルチラベル分類のための4つの手法を比較し,エンコーダのみに基づく2つの手法と,エンコーダ-デコーダに基づく2つの手法を比較した。
その結果、エンコーダ-デコーダ法はエンコーダのみの手法よりも優れており、より複雑なデータセットに有利であることがわかった。
論文 参考訳(メタデータ) (2023-05-09T17:13:53Z) - Towards Efficient Fine-tuning of Pre-trained Code Models: An
Experimental Study and Beyond [52.656743602538825]
微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。
我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。
本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
論文 参考訳(メタデータ) (2023-04-11T13:34:13Z) - Pre-trained Language Models for Keyphrase Generation: A Thorough
Empirical Study [76.52997424694767]
事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。
PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。
さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
論文 参考訳(メタデータ) (2022-12-20T13:20:21Z) - MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are
Better Dense Retrievers [140.0479479231558]
本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。
MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
論文 参考訳(メタデータ) (2022-12-15T13:57:07Z) - String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。
本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。
実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
論文 参考訳(メタデータ) (2022-08-23T03:56:30Z) - A Comparative Study of Pre-trained Encoders for Low-Resource Named
Entity Recognition [10.0731894715001]
我々は、エンコーダ評価フレームワークを導入し、それを用いて、低リソースNERのタスクにおける最先端の事前訓練された表現の性能を比較する。
我々は、様々な戦略、モデルアーキテクチャ、中間タスクの微調整、コントラスト学習で事前訓練された幅広いエンコーダを分析する。
論文 参考訳(メタデータ) (2022-04-11T09:48:26Z) - Variational Autoencoders for Studying the Manifold of Precoding Matrices
with High Spectral Efficiency [47.187609203210705]
スペクトル効率(SE)の高い事前符号化行列を見つけるために、変分オートエンコーダを用いる方法を検討する。
私たちの目標は、最小品質の劣化を伴う、より時間を要するアルゴリズムを作ることです。
論文 参考訳(メタデータ) (2021-11-23T11:45:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。