論文の概要: Enhancing speech representation learning with cross-modal knowledge transfer with HGNN under low resource settings: the case study of Yemba

• arxiv url: http://arxiv.org/abs/2609.23194v1
• Date: Sat, 19 Sep 2026 19:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.726095
• Title: Enhancing speech representation learning with cross-modal knowledge transfer with HGNN under low resource settings: the case study of Yemba
• Title（参考訳）: 低資源環境下におけるHGNNを用いたクロスモーダル知識伝達による音声表現学習の強化:Yembaを事例として
• Abstract要約: 異種グラフニューラルネットワーク(HGNN)に基づくクロスモーダルトランスファー知識アプローチによる音響表現のトラフ向上を提案する。 言語ノードは、知識を音響ノードに明示的に転送し、構造化および解釈可能なクロスモーダル情報フローを可能にする。 その結果、音響表現は、グラフを通じて伝播した言語知識から一貫して恩恵を受けることが示された。
• 参考スコア（独自算出の注目度）: 4.972101958155091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Acoustic representation learning is crucial for speech processing, yet low-resource languages (LRLs) face severe data scarcity, limiting the effectiveness of traditional and self-supervised methods. As a promising alternative, in this work, we propose to enhance acoustic representation trough a cross-modal transfer knowledge approach, based on heterogeneous graph neural networks (HGNNs), where acoustic and linguistic entities are modeled as distinct node types within a unified graph. Through message-passing mechanisms, linguistic nodes explicitly transfer knowledge to acoustic nodes, enabling structured and interpretable cross-modal information flow. To highlight this knowledge transfer and its benefits, we measured standard clustering metrics as an intrinsic evaluation of acoustic representation, and to emphasize applicability, we performed isolated-word recognition tasks using an English benchmark and a Cameroonian language dataset in low resources settings . Results demonstrate that acoustic representations consistently benefit from linguistic knowledge propagated through the graph. To our knowledge, this is the first demonstration of explicit cross-modal knowledge transfer for acoustic representation learning using HGNNs, highlighting a promising direction for speech representation in low-resource settings.
• Abstract（参考訳）: 音声処理には音響表現学習が不可欠であるが、低リソース言語(LRL)はデータ不足に直面しており、従来の手法や自己管理手法の有効性を制限している。 そこで本研究では,異種グラフニューラルネットワーク(HGNN)をベースとして,音響的および言語的実体を統一グラフ内の異なるノードタイプとしてモデル化した,モーダル間移動知識の手法を提案する。 言語ノードは、メッセージパッシング機構を通じて、知識を音響ノードに明示的に伝達し、構造化および解釈可能なクロスモーダル情報フローを可能にする。 この知識伝達とその利点を明らかにするため、音響表現の本質的な評価として標準クラスタリングメトリクスを測定し、適用性を強調するため、低リソース設定における英語ベンチマークとカメルーン言語データセットを用いて、孤立語認識タスクを実行した。 その結果、音響表現は、グラフを通じて伝播した言語知識から一貫して恩恵を受けることが示された。 我々の知る限り、これはHGNNを用いた音響表現学習のための明示的なクロスモーダルな知識伝達の初めての実証であり、低リソース環境における音声表現の有望な方向を強調している。

関連論文リスト

• Low resource cross-modal alignment using HGNN to enhance speech representation [4.972101958155091]
  異種グラフニューラルネットワークとリンク予測に基づくデータ効率のよい空間アライメント手法を提案する。 提案手法は,最先端の手法であるSAMU-XLSRに匹敵する結果となり,単語検索のタスクにおいて,Yemba言語に勝る結果となった。
  論文  参考訳（メタデータ） (2026-09-19T19:31:01Z)
• Incorporating Linguistic Constraints from External Knowledge Source for Audio-Visual Target Speech Extraction [87.49303116989708]
  AV-TSEの補助的知識源として,事前学習言語モデル (PSLM) と事前学習言語モデル (PLM) の可能性を検討する。 本研究では, AV-TSE モデルに対するPSLM や PLM からの言語制約を追加の監視信号として活用することを提案する。 推論中に余分な計算コストがなければ、提案手法は音声品質と知能性を一貫して改善する。
  論文  参考訳（メタデータ） (2025-06-11T14:36:26Z)
• Bridging The Multi-Modality Gaps of Audio, Visual and Linguistic for Speech Enhancement [36.136070412464214]
  音声強調(SE)は、雑音の多い環境下での音声の品質と可聴性を改善することを目的としている。 近年の研究では、音声信号処理に視覚的手がかりを取り入れることで、SE性能が向上することが示されている。 本稿では,音声,視覚,言語情報を統合した拡散モデルを利用した多モード学習フレームワークDLAV-SEを提案する。
  論文  参考訳（メタデータ） (2025-01-23T04:36:29Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• Reduce, Reuse, Recycle: Is Perturbed Data better than Other Language augmentation for Low Resource Self-Supervised Speech Models [48.44820587495038]
  自己教師付き表現学習(SSRL)は、音素認識を含むタスクの教師付きモデルよりも優れた性能を示した。 SSRLモデルのトレーニングは、十分な事前学習データが入手できない低リソース言語にとって課題となる。 本稿では,低リソース環境下でのSSRLモデルの事前学習にピッチ変動,雑音付加,アクセント付きターゲット言語,その他の言語音声を用いることを提案し,音素認識の評価を行う。
  論文  参考訳（メタデータ） (2023-09-22T10:09:09Z)
• Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation [46.825957917649795]
  手話 (SL) は聴覚障害者の母語であり、ほとんどの人が理解できない特別な視覚言語である。 動的グラフに基づくマルチモーダル特徴融合を用いたニューラルSLTモデルを提案する。 我々はまず,マルチモーダル情報を融合したグラフニューラルネットワークをニューラルネットワーク翻訳モデルに導入した。
  論文  参考訳（メタデータ） (2022-11-01T15:26:22Z)
• Deep Learning For Prominence Detection In Children's Read Speech [13.041607703862724]
  本稿では, 幼児の口臭度評価に際し, 単語検出に係わる特徴を学習するためのセグメント音声波形を用いたシステムを提案する。 単語レベルの特徴とシーケンス情報の両方を取り入れた選択されたCRNN(畳み込みリカレントニューラルネットワーク)フレームワークは、知覚的に動機付けられたSincNetフィルタの恩恵を受けている。
  論文  参考訳（メタデータ） (2021-10-27T08:51:42Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。