論文の概要: GLaS-JEPA: Gaussian-Regularized Speech SSL without Engineered Prediction Targets

• arxiv url: http://arxiv.org/abs/2609.37798v1
• Date: Tue, 29 Sep 2026 15:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.677846
• Title: GLaS-JEPA: Gaussian-Regularized Speech SSL without Engineered Prediction Targets
• Title（参考訳）: GLaS-JEPA:工学的予測対象のないガウス正規化音声SSL
• Abstract要約: 音声自己教師型学習は、下流音声タスクの汎用表現を学習することを目的としている。 GLaS-JEPAは、コントラスト学習、離散的ターゲット、または別々のEMAターゲットエンコーダなしで、現在のエンコーダの連続表現を直接予測する。
• 参考スコア（独自算出の注目度）: 37.77899094897652
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech self-supervised learning aims to learn general-purpose representations for downstream speech tasks. However, current approaches rely on complex, carefully designed prediction targets. We challenge this necessity with GLaS-JEPA, a framework that directly predicts the current encoder's continuous representations at masked positions, without contrastive learning, discrete targets, or separate EMA target encoders. We prevent representation collapse using SIGReg representation-space regularization, eliminating the need for engineered target-generation mechanisms. Pretrained on 960 hours of LibriSpeech, our 57M-parameter model achieves a 6.89% WER on frozen-encoder SUPERB ASR and a 25.87% CER on slot filling, outperforming the best non-distilled sub-90M baselines by 43.1% and 22.0%, respectively. These results demonstrate that highly competitive speech representations can emerge from a radically simplified training recipe.
• Abstract（参考訳）: 音声自己教師型学習は、下流音声タスクの汎用表現を学習することを目的としている。 しかし、現在のアプローチは複雑な、慎重に設計された予測ターゲットに依存している。 GLaS-JEPAは、コントラスト学習、離散的ターゲット、または分離されたEMAターゲットエンコーダなしで、現在のエンコーダのマスキング位置での連続的な表現を直接予測するフレームワークである。 SIGReg表現空間正規化による表現崩壊を防止し、設計したターゲット生成機構を不要とする。 LibriSpeechの960時間でプレトレーニングされた57Mパラメータモデルでは,冷凍エンコーダ SUPERB ASR では6.89%,スロットフィリングでは25.87% の WER が達成され,それぞれ最高の非蒸留サブ90M ベースラインである43.1% と22.0% を上回った。 これらの結果から,高度に競争力のある音声表現が,過度に単純化された学習レシピから生まれる可能性が示唆された。

関連論文リスト

• From Specialization to Generalization: Instruction-tuned LLMs for Robust Harmful Content Mitigation [55.450840345528235]
  大規模言語モデル(LLM)は、幅広い一般的なNLPタスクにまたがる印象的なパフォーマンスを示す。 しかし、ヘイトスピーチ検出などのセンシティブな領域におけるそれらの有効性は、まだ明らかではない。 そこで本研究では,この問題を指導チューニングのレンズを通して再検討する。
  論文  参考訳（メタデータ） (2026-08-26T10:24:31Z)
• Adaptive Speech-to-Spike Encoding for Spiking Neural Networks [0.0]
  本稿では,Recurrent Leaky Integrate-and-Fireバックボーンを組み込んだ,学習可能な残音声-スパイクエンコーダについて述べる。 このアプローチをGoogle Speech Commands v2ベンチマークで検証し、94.97%の精度を達成した。
  論文  参考訳（メタデータ） (2026-06-17T13:07:20Z)
• Predict and Reconstruct: Joint Objectives for Self-Supervised Language Representation Learning [0.0]
  Masked Language Modelling (MLM) は BERT 以降,テキストエンコーダの事前学習の主流となっている。 視覚とオーディオにおけるJEPA(Joint Embedding Predictive Architectures)の成功に触発されて,我々はハイブリッドな目的を提案する。 我々は、同じアーキテクチャと計算予算を用いて、ハイブリッドモデルと純粋MLMベースラインの両方を英語ウィキペディアで事前訓練する。
  論文  参考訳（メタデータ） (2026-04-16T22:26:47Z)
• Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection [0.4899818550820574]
  エージェント知識蒸留は、人間の介入なしにセキュリティタスクにデプロイ可能な、より小さな学生SLMを微調整する強力なLLMで構成されている。 SMSスパム・スマイッシング検出における教師の役割における4つのLLMと2人の学生のSLMを比較した。 以上の結果から,教師のLLMによって性能が大きく異なり,94.31%の精度と96.25%のリコールが達成された。
  論文  参考訳（メタデータ） (2026-02-11T13:57:56Z)
• Soft Clustering Anchors for Self-Supervised Speech Representation Learning in Joint Embedding Prediction Architectures [45.74430728311433]
  JEPA(Joint Embedding Predictive Architectures)は、自己教師型音声表現学習において有望なアプローチを提供するが、明示的な根拠なしに表現の崩壊に悩まされる。 本稿では,GMM-Anchored JEPAを提案する。GMM-Anchored JEPAはガウス混合モデルの対数メル分光法に一度適合し,凍結した軟体後部をトレーニングを通して補助目標とする。 50k時間音声では、GMMアンカーがASR(28.68% vs. 33.22% WER)、感情認識(67.76% vs. 65.46%)、スロットフィリング(64.7% vs. 59.1% F1)を改善している。
  論文  参考訳（メタデータ） (2026-01-30T20:51:37Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• Semi-Supervised Speech Recognition via Local Prior Matching [42.311823406287864]
  局所的な事前マッチングは、強い事前から知識を蒸留する半教師付き目的である。 我々は,LPMが理論的に良好であり,実装が容易であり,既存の知識蒸留技術よりも優れていることを実証した。
  論文  参考訳（メタデータ） (2020-02-24T16:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。