論文の概要: ASSET: Adaptive Speech Segmentation via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.14309v1
• Date: Fri, 09 Oct 2026 20:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 22:12:29.566189
• Title: ASSET: Adaptive Speech Segmentation via Reinforcement Learning
• Title（参考訳）: ASSET:強化学習による適応音声セグメンテーション
• Abstract要約: 音声大言語モデル(LLM)は、しばしばデコーダへの音声インタフェースとして、事前訓練された音響エンコーダを用いて構築される。 これは、タスク指向情報を保持しながらエンコーダ出力を圧縮する学習を動機付ける。 本稿では、エンコーダ出力を適応的に圧縮することを学ぶ強化学習(RL)ベースのフレームワークであるASSETを紹介する。
• 参考スコア（独自算出の注目度）: 40.27649595057838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech large language models (LLMs) are often built using pretrained acoustic encoders as an audio interface to an LLM decoder. However, LLMs scale poorly with input sequence length, while acoustic encoders tend to produce substantially longer sequences than typical textual inputs. This motivates learning to compress encoder outputs while preserving task-oriented information. To this end, we introduce ASSET, a reinforcement learning (RL)-based framework that learns to adaptively compress encoder outputs by first partitioning them into variable-duration segments and then pooling each segment into a continuous audio token. We use group-relative policy optimization (GRPO) to train a segmenter with task performance feedback and a token-rate penalty. In automatic speech recognition (ASR) experiments, ASSET achieves performance comparable to a transcript-assisted character-boundary oracle with approximately 25% fewer audio tokens on English LibriSpeech, while improving on a phone-boundary oracle at a similar token rate on Mandarin AISHELL. Exploratory experiments on non-ASR tasks further illustrate how learned segmentation changes when the framework is adapted to tasks beyond transcription.
• Abstract（参考訳）: 音声大言語モデル(LLM)は、LLMデコーダのオーディオインタフェースとして、事前訓練された音響エンコーダを用いて構築されることが多い。 しかし、LLMは入力シーケンス長に乏しく、アコースティックエンコーダは通常のテキスト入力よりもかなり長いシーケンスを生成する傾向にある。 これは、タスク指向情報を保持しながらエンコーダ出力を圧縮する学習を動機付ける。 この目的のために我々は,まずそれらを可変デュレーションセグメントに分割し,各セグメントを連続的なオーディオトークンに分割することで,エンコーダ出力を適応的に圧縮する強化学習(RL)ベースのフレームワークであるASSETを紹介する。 我々は、グループ相対ポリシー最適化(GRPO)を使用して、タスクパフォーマンスフィードバックとトークンレートペナルティを備えたセグメンタを訓練する。 自動音声認識(ASR)実験において、ASSETは、英語のLibriSpeechの音声トークンを約25%減らし、マンダリンのAISHELLと同様のトークンレートで電話境界オラクルを改善しながら、転写支援文字境界オラクルに匹敵する性能を達成する。 非ASRタスクに関する探索的な実験は、フレームワークが転写以外のタスクに適合すると、学習されたセグメンテーションがどのように変化するかをさらに示している。

関連論文リスト

• AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs [10.994062021996427]
  オーディオエンコーダは、短いオーディオクリップでも数百のトークンを生成する。 現在のトレーニング不要なトークン圧縮メソッドは、粗い注意や特徴の類似性のみに基づいて、トークンをプルーンまたはマージする。 本稿では,AudioTETRISを提案する。AudioTETRISは,Audio Encoderの表現幾何をトークンの重要度に対する音響的先行として利用する,トレーニング不要の2段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-10-09T13:49:22Z)
• AudioMosaic: Contrastive Masked Audio Representation Learning [53.52371029884106]
  一般的な音声理解のためのコントラスト学習型オーディオエンコーダであるtextbfAudioMosaic を紹介する。 AudioMosaicは、構造化された時間周波数マスキングをスペクトログラムパッチに適用することで、正のペアを構成する。 実験によると、AudioMosaicはいくつかの標準オーディオベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-14T00:56:51Z)
• Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
  大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。 統一デコーダは 時空間のスムーズなバイアスを示します LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
  論文  参考訳（メタデータ） (2026-04-16T02:30:41Z)
• Beyond Fixed Frames: Dynamic Character-Aligned Speech Tokenization [27.32235541083431]
  動的キャラクタアライズされた音声トケナイザであるDyCASTを紹介する。 DyCASTは、訓練中にトークンと文字レベルの言語単位を関連付けることを学ぶ。 また,不確かさを増大させることなく再現性を高める検索拡張復号機構を導入する。
  論文  参考訳（メタデータ） (2026-01-30T16:58:40Z)
• Towards Audio Token Compression in Large Audio Language Models [26.379508239446935]
  大規模オーディオ言語モデル(LALM)は、様々なタスクにまたがる素晴らしいパフォーマンスを示している。 しかし、そのスケーラビリティは、注意の二次的な複雑さと、音声信号の高いトークンレートによって制限される。 本稿では,LALMのオーディオエンコーダが生成する音声トークン数を,LCMデコーダが消費する前に削減する手法について検討する。
  論文  参考訳（メタデータ） (2025-11-26T02:00:38Z)
• From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data [55.2480439325792]
  音声対応の大規模言語モデル(ALLM)は近年,音声入力の理解と処理において大きな進歩を遂げている。 これらのモデルは典型的にはテキストベースの大規模言語モデル(LLM)に適応し、音声関連タスクのさらなるトレーニングを行う。 本研究では、現在と欠落した音を区別するALLMの能力を高めるために、コントラッシブな訓練データを生成するデータ生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T16:08:41Z)
• LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT [65.69648099999439]
  Generative Pre-trained Transformer (GPT) モデルは、様々な自然言語処理タスクにおいて顕著なパフォーマンスを実現している。 音声認識, 理解, 生成のための新しい音声・テキストGPTベースのLLMであるLauraGPTを提案する。
  論文  参考訳（メタデータ） (2023-10-07T03:17:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。