論文の概要: How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations

• arxiv url: http://arxiv.org/abs/2411.17666v1
• Date: Tue, 26 Nov 2024 18:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:02.533924
• Title: How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
• Title（参考訳）: マルチモーダル・ファンデーション・モデルによるテキストと音声の符号化法 : 言語間およびモーダル間表現の分析
• Authors: Hyunji Lee, Danni Liu, Supriti Sinhamahapatra, Jan Niehues,
• Abstract要約: クロスモーダル表現は、テキスト処理と音声処理に特化した初期層を除いて、モデル層に収束する。 音声はテキストよりも言語間の違いが大きい。 モダリティに依存しない表現のために明示的に訓練されていないモデルでは、モダリティギャップは言語ギャップよりも顕著である。
• 参考スコア（独自算出の注目度）: 17.528100902591056
• License:
• Abstract: Multimodal foundation models aim to create a unified representation space that abstracts away from surface features like language syntax or modality differences. To investigate this, we study the internal representations of three recent models, analyzing the model activations from semantically equivalent sentences across languages in the text and speech modalities. Our findings reveal that: 1) Cross-modal representations converge over model layers, except in the initial layers specialized at text and speech processing. 2) Length adaptation is crucial for reducing the cross-modal gap between text and speech, although current approaches' effectiveness is primarily limited to high-resource languages. 3) Speech exhibits larger cross-lingual differences than text. 4) For models not explicitly trained for modality-agnostic representations, the modality gap is more prominent than the language gap.
• Abstract（参考訳）: マルチモーダル基礎モデルは、言語構文やモダリティの違いといった表面的な特徴を抽象化する統一表現空間を作成することを目的としている。 そこで本研究では,3つのモデルの内部表現について検討し,テキスト中の言語間の意味論的等価文からモデルアクティベーションを分析する。 私たちの発見は、こう示しています。 1) クロスモーダル表現は,テキスト処理や音声処理に特化している初期層を除き,モデル層に収束する。 2) 長文適応はテキストと音声の相互間のギャップを減らすために重要であるが,現在の手法の有効性は,主に高リソース言語に限られている。 3)音声はテキストよりも言語間差が大きい。 4) モダリティに依存しない表現のために明示的に訓練されていないモデルでは,モダリティギャップは言語ギャップよりも顕著である。

関連論文リスト

• Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations [0.8594140167290097]
  マルチモーダル埋め込みは、テキストのみのモデルと比較して、言語の神経表現における意味情報を豊かにすることを目的としている。 本稿では,3つの視覚・言語モデルと3つのテキストのみモデルからの単語埋め込みと,静的・文脈的表現との比較を行った。 これは、46のセマンティックパラメータを含む言語表現に対する視覚的接地の効果に関する最初の大規模研究である。
  論文  参考訳（メタデータ） (2023-06-04T12:53:12Z)
• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment [63.0407314271459]
  提案したCross-Alignは、5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成する。 実験の結果,提案したCross-Alignは5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成することがわかった。
  論文  参考訳（メタデータ） (2022-10-09T02:24:35Z)
• Unify and Conquer: How Phonetic Feature Representation Affects Polyglot Text-To-Speech (TTS) [3.57486761615991]
  統一表現は、自然性とアクセントの両方に関して、より優れた言語間合成を達成する。 分離表現は、モデルキャパシティに影響を与える可能性がある統一表現よりも桁違いに多くのトークンを持つ傾向がある。
  論文  参考訳（メタデータ） (2022-07-04T16:14:57Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Bridging the Modality Gap for Speech-to-Text Translation [57.47099674461832]
  エンド・ツー・エンドの音声翻訳は、ある言語における音声を、エンド・ツー・エンドの方法で他の言語におけるテキストに変換することを目的としている。 既存のほとんどの手法では、音響表現と意味情報を同時に学習するために、単一のエンコーダを持つエンコーダ・デコーダ構造を用いる。 本稿では,音声とテキスト間のモダリティギャップを埋めることで,エンドツーエンドのモデル性能を向上させることを目的とした音声翻訳モデルのための音声テキスト適応手法を提案する。
  論文  参考訳（メタデータ） (2020-10-28T12:33:04Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Probing Contextual Language Models for Common Ground with Visual Representations [76.05769268286038]
  我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。 以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。 視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
  論文  参考訳（メタデータ） (2020-05-01T21:28:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。