論文の概要: BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations

• arxiv url: http://arxiv.org/abs/2606.30700v1
• Date: Mon, 29 Jun 2026 09:52:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.956582
• Title: BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Approach for Self-Supervised Audio Representations
• Title（参考訳）: BEST-RQ-2: 自己監督型音声表現のための2ステップアプローチ
• Abstract要約: BEST-RQ-2はBEST-RQの進化であり、凍結したランダムプロジェクションベースの離散ターゲットを保持しつつ、2段階の文脈化予測事前学習スキームを導入している。 ViTコンテキストエンコーダは、マスクされていないスペクトログラム領域のみを処理し、軽量な予測器はマスクされた領域のターゲットを推測する。 X-ARESとXARES-LLMのベンチマークでは、BEST-RQ-2は全体の転送において一段のベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 9.030040918514464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning enables audio representations that transfer across domains and tasks. We present BEST-RQ-2, an evolution of BEST-RQ that retains frozen randomprojection-based discrete targets while introducing a two-step contextualize-then-predict pretraining scheme. A ViT context encoder processes only the unmasked spectrogram regions, and a lightweight predictor infers targets for the masked regions; the predictor is discarded after pretraining. Replacing the original Conformer encoder with a ViT shifts performance across domains, slightly reducing speech performance while improving music and environmental sounds, with comparable average scores. The main improvement comes from decomposing masked prediction into separate contextualization and prediction stages. On the X-ARES and XARES-LLM benchmarks, BEST-RQ-2 consistently outperforms one-stage baselines in overall transfer while keeping inference compute unchanged. Code and model checkpoints are publicly available.
• Abstract（参考訳）: 自己教師付き学習は、ドメインやタスク間で伝達される音声表現を可能にする。 BEST-RQ-2は,凍結したランダムプロジェクションをベースとした離散目標を保持するBEST-RQの進化である。 ViTコンテキストエンコーダは、マスクされていないスペクトログラム領域のみを処理し、軽量な予測器はマスクされた領域のターゲットを推測する。 オリジナルのコンフォーマーエンコーダをViTで置き換えることで、ドメイン間でのパフォーマンスが変化し、音声性能がわずかに低下し、音楽や環境音が改善される。 主な改善点は、マスク付き予測を別の文脈化と予測段階に分解することにある。 X-ARES と XARES-LLM のベンチマークでは、BEST-RQ-2 は推論計算を一定に保ちながら、全体の転送において一段のベースラインを上回っている。 コードとモデルチェックポイントが公開されている。

関連論文リスト

• Domain-Incremental Learning for Multi-Channel Replay Speech Detection [0.0]
  本稿では,マルチチャンネル再生音声検出のための最初の連続学習ベンチマークを提案する。 我々は,ReMASCコーパスの24個の環境順序を5つの種で評価した。 シーケンスの最後の環境が最終性能を支配していることを示す。
  論文  参考訳（メタデータ） (2026-09-10T08:03:02Z)
• Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference [18.68720277535819]
  本研究では, 予め訓練したエンコーダを更新することなく, 高精度な領域分割アライメントを推論で行うことにより, 構成性能が劇的に向上することを示す。 次に,凍結パッチやトークン埋め込みから直接,このようなアライメントを学習する軽量トランスフォーマーを導入する。
  論文  参考訳（メタデータ） (2026-04-13T14:03:18Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• GenTSE: Enhancing Target Speaker Extraction via a Coarse-to-Fine Generative Language Model [35.12859489567766]
  我々は,TSEのための2段階デコーダのみのジェネレーションLMアプローチであるGenTSEを提案する。 意味論と音響学の分離は、復号化を安定化させ、より忠実で内容に整合したターゲットスピーチをもたらす。 Libri2Mixの実験は、GenTSEが従来のLMベースのシステムよりも、音声品質、知性、話者の一貫性を上回っていることを示している。
  論文  参考訳（メタデータ） (2025-12-24T06:13:02Z)
• UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
  本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。 第1パスデコーダのサブワード予測によりモデル性能を向上させる。 提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:58:28Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
  シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。 本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
  論文  参考訳（メタデータ） (2022-05-30T08:25:36Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。