論文の概要: Rethinking Length-Based Training: Batch Composition and Loss Normalization in Speech Token Language Models

• arxiv url: http://arxiv.org/abs/2609.25890v1
• Date: Tue, 22 Sep 2026 08:56:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.304321
• Title: Rethinking Length-Based Training: Batch Composition and Loss Normalization in Speech Token Language Models
• Title（参考訳）: 長さベーストレーニングの再考:音声トーケン言語モデルにおけるバッチ構成と損失正規化
• Abstract要約: 短時間のトレーニングでは、シャッフルポリシ、バッチコンポジション、トークン保持、トークンウェイトをバッチ平均損失で変更することができる。 この研究は、可変長音声モデルにおける長さに基づくトレーニングを研究するための体系的分析プロトコルを提供する。
• 参考スコア（独自算出の注目度）: 12.78525388991928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Short-to-long training is a simple curriculum for speech models, but its gains can be difficult to interpret. In speech token language models, length-based training can change the shuffle policy, batch composition, token retention, and token weights under batch-mean loss. We disentangle these factors through matched comparisons. In the tested settings, short-to-long ordering shows no independent benefit when batch composition and token exposure are fixed. First-epoch grouping lowers perplexity for Mimi under batch-mean loss, but this gain is not observed under token-balanced loss. The cross-tokenizer results are consistent with a link between chunk-length variation and token weighting. This work provides a systematic analysis protocol for studying length-based training in variable-length speech models.
• Abstract（参考訳）: 短時間の訓練は、音声モデルの簡単なカリキュラムであるが、その利点を解釈することは困難である。 音声トークン言語モデルでは、長さベースのトレーニングは、シャッフルポリシー、バッチ合成、トークン保持、およびバッチ平均損失下でのトークン重みを変更することができる。 一致した比較によってこれらの要因を解き放つ。 テストされた設定では、バッチ合成とトークンの露出が固定された場合、短時間から長期の順序付けは独立したメリットを示しない。 第一のエポックグルーピングは、バッチ平均損失下でのミミの難易度を低下させるが、トークンバランス損失では観測されない。 クロストケナイザの結果は、チャンク長の変動とトークン重み付けのリンクと一致している。 この研究は、可変長音声モデルにおける長さに基づくトレーニングを研究するための体系的分析プロトコルを提供する。

関連論文リスト

• Content is What Remains: Invariant Speech Tokenization from Parallel Utterances [8.166364251367627]
  PINTはSSLエンコーダを微調整し、並列発話におけるアライメント損失と、この共有残基を蒸留するために拡張する。 ASRテキストとは異なり、PINTトークンはフレームレベルの時間的グラウンドを保持し、オーディオコーデックのドロップインセマンティックターゲットとして機能する。
  論文  参考訳（メタデータ） (2026-07-21T12:19:38Z)
• Smooth Scaling Laws Hide Stepwise Token Learning [8.073384065651098]
  本稿では,個別の文脈化トークンの局所的な学習イベントにスケール法則を分解するトークンレベルフレームワークを提案する。 トークン学習は局所的な遷移に集中しており、スケーリング法則の形状を支配する学習時間スペクトルを生じさせることを示す。
  論文  参考訳（メタデータ） (2026-06-29T06:53:30Z)
• LiteToken: Removing Intermediate Merge Residues From BPE Tokenizers [76.59130257385826]
  BPE語彙の中間的なマージ残基は、マージ学習中にしばしば見られ、最終語彙に保持されるが、ほとんどは、トークン化剤の使用中にコーパスをトークン化するときに、さらにマージされる。 本稿では, この現象を, 一般的に使用されているトークン化剤にまたがって系統的に評価し, 残留トークンを除去する簡単な方法である LiteToken を紹介する。 実験によると、LiteTokenはトークンの断片化を減らし、パラメータを減らし、全体的なパフォーマンスを保ちながら、ノイズやスペル入力への堅牢性を改善する。
  論文  参考訳（メタデータ） (2026-02-04T16:19:05Z)
• Token Weighting for Long-Range Language Modeling [50.2371550397256]
  損失時の各トレーニングトークンに異なる重みを割り当てる新しいトークン重み付け方式を提案する。 複数の長文理解タスクにおける全ての手法を評価し、不均一な損失重みが有用であることを示す。 この研究は、長いコンテキスト言語モデリングのトレードオフのより深い理解に寄与します。
  論文  参考訳（メタデータ） (2025-03-12T09:46:59Z)
• Beyond Next Token Prediction: Patch-Level Training for Large Language Models [69.67438563485887]
  大規模言語モデル(LLM)に対するパッチレベルのトレーニングを導入する。 パッチレベルのトレーニングでは、言語モデルの短いパッチシーケンスをフィードし、次のパッチを予測するようにトレーニングします。 パッチレベルのトレーニングは、モデルのパフォーマンスを損なうことなく、全体のトレーニングコストを0.5$times$に削減できることを示す。
  論文  参考訳（メタデータ） (2024-07-17T15:48:39Z)
• Scaffold-BPE: Enhancing Byte Pair Encoding for Large Language Models with Simple and Effective Scaffold Token Removal [58.29382184006158]
  そこで本研究では,パラメータフリー,計算ライト,実装容易な修正による動的足場トークン除去機構を組み込んだScaffold-BPEを提案する。 言語モデリングや機械翻訳の広範な実験において、Scaffold-BPEはオリジナルのBPEよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2024-04-27T07:12:07Z)
• Assessing Phrase Break of ESL speech with Pre-trained Language Models [6.635783609515407]
  本研究は,事前学習言語モデル(PLM)を用いたESL学習者の発話におけるフレーズブレークの評価手法を提案する。 従来の手法とは異なり、この提案では音声をトークンシーケンスに変換し、PLMのパワーを活用する。
  論文  参考訳（メタデータ） (2022-10-28T10:06:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。