論文の概要: Time-Shifted Token Scheduling for Symbolic Music Generation
- arxiv url: http://arxiv.org/abs/2509.23749v1
- Date: Sun, 28 Sep 2025 08:52:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.420292
- Title: Time-Shifted Token Scheduling for Symbolic Music Generation
- Title(参考訳): シンボリック音楽生成のための時間シフトトークンスケジューリング
- Authors: Ting-Kang Wang, Chih-Pin Tan, Yi-Hsuan Yang,
- Abstract要約: 遅延に基づくスケジューリング機構を適用し、デコードステップを越えて複合的なトークンを拡張する。
本手法は,標準的な複合トークン化よりもすべてのメトリクスを改善し,そのギャップを微細なトークン化に狭める。
- 参考スコア(独自算出の注目度): 6.835980208223368
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Symbolic music generation faces a fundamental trade-off between efficiency and quality. Fine-grained tokenizations achieve strong coherence but incur long sequences and high complexity, while compact tokenizations improve efficiency at the expense of intra-token dependencies. To address this, we adapt a delay-based scheduling mechanism (DP) that expands compound-like tokens across decoding steps, enabling autoregressive modeling of intra-token dependencies while preserving efficiency. Notably, DP is a lightweight strategy that introduces no additional parameters and can be seamlessly integrated into existing representations. Experiments on symbolic orchestral MIDI datasets show that our method improves all metrics over standard compound tokenizations and narrows the gap to fine-grained tokenizations.
- Abstract(参考訳): シンボリック・ミュージック・ジェネレーションは、効率と品質の根本的なトレードオフに直面している。
微細なトークン化は、強いコヒーレンスを実現するが、長いシーケンスと高い複雑さを伴い、一方、コンパクトなトークン化は、トークン内の依存関係を犠牲にして効率を向上する。
これを解決するために,遅延ベースのスケジューリング機構 (DP) を適用し,複雑なトークンをデコードステップにわたって拡張し,効率を保ちつつ,トークン内依存関係の自動回帰モデリングを可能にする。
特にDPは、追加のパラメータを導入せず、既存の表現にシームレスに統合できる軽量な戦略である。
シンボリックオーケストリアルMIDIデータセットを用いた実験により,本手法は標準的な複合トークン化よりもすべての指標を改善し,そのギャップを微細なトークン化に狭めることを示した。
関連論文リスト
- Modality Agnostic Efficient Long Range Encoder [14.705955027331674]
汎用実装を用いた単一デバイス上での長文処理の課題に対処する。
これらの制約を克服するために、統一的で効率的なトランスアーキテクチャであるMAELREを提案する。
我々は、MAELREが既存の長文モデルと比較して計算コストを低減しつつ、優れた精度を達成できることを実証した。
論文 参考訳(メタデータ) (2025-07-25T16:19:47Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳(メタデータ) (2025-03-20T17:59:59Z) - Cached Adaptive Token Merging: Dynamic Token Reduction and Redundant Computation Elimination in Diffusion Model [2.580765958706854]
拡散モデルは高い計算コストと遅い推論によって妨げられる。
そのようなアプローチの1つは、トークンマージ(ToMe)として知られる自己アテンションに供給されるトークンの数を減らすことに焦点を当てている。
論文 参考訳(メタデータ) (2025-01-01T20:16:27Z) - SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。
特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。
SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
論文 参考訳(メタデータ) (2024-12-16T18:58:57Z) - Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。
提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。
実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文 参考訳(メタデータ) (2024-06-24T15:55:59Z) - ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel
Decoding [12.449023969197684]
ProPDは動的トークンツリーのプルーニングと生成に基づく効率的な並列デコードフレームワークである。
ProPD は既存の復号アルゴリズムを 1.1-3.2x で一貫的に上回っている。
論文 参考訳(メタデータ) (2024-02-21T02:51:07Z) - SPEED: Speculative Pipelined Execution for Efficient Decoding [35.45955948053644]
本稿では,現在のトークンと並行して複数の将来トークンを投機的に実行することで,推論効率を向上させるSPEEDを提案する。
パラメータ共有を使用するTransformerデコーダでは、並列に実行されるトークンのメモリ操作を償却することができる。
モデル精度に対する遅延低減の観点から,本手法の有効性を実証し,パラメータ共有によるより深いデコーダのトレーニングを最小限のランタイムオーバーヘッドで行う方法を示した。
論文 参考訳(メタデータ) (2023-10-18T16:07:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。