論文の概要: Low resource cross-modal alignment using HGNN to enhance speech representation

• arxiv url: http://arxiv.org/abs/2609.23191v1
• Date: Sat, 19 Sep 2026 19:31:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.724809
• Title: Low resource cross-modal alignment using HGNN to enhance speech representation
• Title（参考訳）: HGNNを用いた低リソースクロスモーダルアライメントによる音声表現の強化
• Abstract要約: 異種グラフニューラルネットワークとリンク予測に基づくデータ効率のよい空間アライメント手法を提案する。 提案手法は,最先端の手法であるSAMU-XLSRに匹敵する結果となり,単語検索のタスクにおいて,Yemba言語に勝る結果となった。
• 参考スコア（独自算出の注目度）: 4.972101958155091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech-text space alignment is a multimodal representation learning method consisting to map different speech and text into a shared representation space, leading to enrichment of the representation of each modality. Proposed architectures, such as SAMU-XLSR, typically follow a student/teacher framework, with the goal of fine-tuning an audio encoder to produce representations that closely match those of the text. In this way a speech representation is semantically enriched. However, such systems generally require large amounts of training data and considerable computational resource, making them difficult to apply to low resources languages under frugal constraints. The present work proposes a data-efficient space alignment method based on Heterogeneous Graph Neural Networks and link prediction. The core idea is to leverage message passing to explicitly transfer information from the text modality to the speech modality, thereby reducing the need for large training datasets and intrinsically enriching the acoustic representations, all in a more interpretable manner. Although thoroughly explored for high-resource languages, word-level tasks in speech remain relevant for certain low-resource languages. Therefore, we conducted experiments on speech-text alignment at the word level using the TIMIT (English) dataset and Yemba (a Cameroonian language). Our approach yields results comparable to those of SAMU-XLSR, a state-of-the-art method, and even surpasses it for the Yemba language in the task of word retrieval, while using far fewer resources, demonstrating its power, frugality, and efficiency.
• Abstract（参考訳）: 音声テキスト空間アライメントは、異なる音声とテキストを共有表現空間にマッピングする多モーダル表現学習法であり、各モーダルの表現を充実させる。 SAMU-XLSRのような提案されたアーキテクチャは、典型的には学生/教師のフレームワークに従っており、音声エンコーダを微調整してテキストと密接に一致する表現を生成することを目的としている。 このように、音声表現は意味的に豊かになる。 しかし、そのようなシステムは一般に大量の訓練データとかなりの計算資源を必要とするため、厳密な制約の下で低リソース言語に適用することは困難である。 本研究では異種グラフニューラルネットワークとリンク予測に基づくデータ効率のよい空間アライメント手法を提案する。 中心となる考え方は、メッセージパッシングを利用して、テキストモダリティから音声モダリティへの情報を明示的に伝達することで、大規模なトレーニングデータセットの必要性を減らし、音響表現を本質的に豊かにする、というものである。 高リソース言語については徹底的に検討されているが、音声中の単語レベルのタスクは、特定の低リソース言語に関連がある。 そこで我々はTIMITデータセットとYemba(カメルーン語)を用いた単語レベルでの音声テキストアライメント実験を行った。 提案手法は,最先端の手法であるSAMU-XLSRに匹敵する結果となり,単語検索のタスクにおいて,Yemba言語よりもはるかに少ないリソースを使用しながら,そのパワー,重大性,効率性を実証する。

関連論文リスト

• Enhancing speech representation learning with cross-modal knowledge transfer with HGNN under low resource settings: the case study of Yemba [4.972101958155091]
  異種グラフニューラルネットワーク(HGNN)に基づくクロスモーダルトランスファー知識アプローチによる音響表現のトラフ向上を提案する。 言語ノードは、知識を音響ノードに明示的に転送し、構造化および解釈可能なクロスモーダル情報フローを可能にする。 その結果、音響表現は、グラフを通じて伝播した言語知識から一貫して恩恵を受けることが示された。
  論文  参考訳（メタデータ） (2026-09-19T19:43:46Z)
• TESU-LLM: Training Speech-LLMs Without Speech via Unified Encoder Alignment [15.899112804399193]
  textbfTESU-LLMは,テキストデータのみを用いた音声対応言語モデルの学習を可能にする新しいフレームワークである。 我々の重要な洞察は、意味論的に等価なテキストと音声入力を共有潜在空間にマッピングする統一エンコーダを活用することである。 TESU-LLMはテキストのみに訓練されているにもかかわらず、様々な音声関連ベンチマークで高い性能を達成している。
  論文  参考訳（メタデータ） (2025-06-01T09:27:55Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition [5.520654376217889]
  CLARAはラベル付きデータへの依存を最小限に抑え、言語間の一般化を強化する。 我々のアプローチは、主観的評価問題を克服し、音声における感情的ニュアンスを十分に捉えている。 低リソース言語に適応し、多言語音声表現学習の進歩を示す。
  論文  参考訳（メタデータ） (2023-10-18T09:31:56Z)
• Representation Learning With Hidden Unit Clustering For Low Resource Speech Applications [37.89857769906568]
  本稿では,隠れ単位クラスタリング(HUC)フレームワークを用いた生音声からの自己教師付き表現学習のアプローチについて述べる。 モデルへの入力は、ウィンドウ化され、1次元畳み込み層で処理されるオーディオサンプルで構成されている。 HUCフレームワークは、表現を少数の音素のような単位に分類することができ、意味的に豊かな表現を学ぶためのモデルを訓練するために使用される。
  論文  参考訳（メタデータ） (2023-07-14T13:02:10Z)
• Semantic enrichment towards efficient speech representations [9.30840529284715]
  本研究では,SAMU-XLSRモデルのドメイン内セマンティックエンリッチメントについて検討する。 我々は、低リソース言語移植性のために、同じドメインのフランス語とイタリア語のベンチマークを使用することの利点を示す。
  論文  参考訳（メタデータ） (2023-07-03T19:52:56Z)
• Fine-Grained Semantically Aligned Vision-Language Pre-Training [151.7372197904064]
  大規模な視覚言語による事前学習は、幅広い下流タスクにおいて顕著な進歩を見せている。 既存の手法は主に、画像とテキストのグローバルな表現の類似性によって、モーダル間のアライメントをモデル化する。 ゲーム理論的相互作用の新たな視点から, 微粒なセマンティックアライメントを学習する, 微粒なセマンティックなvisiOn-langUage PrEトレーニングフレームワークであるLOを導入する。
  論文  参考訳（メタデータ） (2022-08-04T07:51:48Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
  本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。 GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。 正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2020-03-27T09:19:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。