論文の概要: Why GPT-Style Models Do Not Directly Transfer to Symbolic Music: Compression in the Wrong Coordinate System
- arxiv url: http://arxiv.org/abs/2608.18025v1
- Date: Tue, 18 Aug 2026 17:20:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.413359
- Title: Why GPT-Style Models Do Not Directly Transfer to Symbolic Music: Compression in the Wrong Coordinate System
- Title（参考訳）: GPTスタイルモデルがシンボリック・ミュージックに直接移行しない理由--Wrong Coordinate Systemにおける圧縮
- Abstract要約: トークン化は、繰り返し発生する音楽構造を、言語トークンに似た再利用可能な単位として扱う。
トークン化は、文脈構造が現れるような関係の自由を保ちながら、効果的な表現を見つけなければならないと我々は主張する。
- 参考スコア（独自算出の注目度）: 2.9084367756135676
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: GPT-style models achieve strong performance by representing language with finite vocabularies of reusable discrete tokens. This success has motivated symbolic music tokenizations to treat recurring musical structures, such as chords, motifs, and phrases, as reusable units analogous to linguistic tokens. However, tokenization derives its advantage not from reusable combinations alone, but from compression: effective compression requires coordinates in which recurring regularities form stable and predictable conditional distributions. The key problem is therefore not to find larger musical combinations, but to discover the coordinate system in which musical facts become predictively compressible. We formulate the Effectiveness--Losslessness Framework and define tokenization as the construction of a predictively effective and relationally lossless coordinate system. The Predictive Effectiveness Principle defines the Fact--Token Boundary: decoupling and denesting construct coordinate interfaces that expose predictive regularities. The Relational Losslessness Principle defines the Token--State Boundary: tokenization stops before context-dependent relations are fixed, leaving their computation to model states. Controlled symbolic-music experiments validate these boundaries. Effective coordinate construction improves predictive compressibility, while fixed relational projections constrain contextual modeling. Sequence compaction alone does not guarantee predictive compression, while preserving contextual freedom allows higher-order musical organization to emerge without explicit structural labels. These results reveal why GPT-style models do not transfer directly across modalities: architectures transfer, but tokenization interfaces do not. Tokenization must discover effective representations while preserving the relational freedom from which contextual structure can emerge.
- Abstract（参考訳）: GPTスタイルのモデルは、再利用可能な離散トークンの有限語彙で言語を表現することで、強力な性能を達成する。
この成功は、和音、モチーフ、フレーズなどの繰り返される音楽構造を、言語トークンに類似した再利用可能な単位として扱うための象徴的な音楽トークン化を動機付けている。
しかし、トークン化は再利用可能な組み合わせだけでなく、圧縮によっても有利である: 効果的な圧縮は、繰り返し規則が安定かつ予測可能な条件分布を形成する座標を必要とする。
したがって、鍵となる問題はより大きな音楽の組み合わせを見つけることではなく、音楽事実が予測的に圧縮できる座標系を見つけることである。
予測有効性原理はFact-Token境界(Fact-Token バウンダリ)を定義し,予測正則性を示す構成座標インターフェースをデカップリングし,デニーティングする。
リレーショナル・ロスレスネス原則(Relational Losslessness Principle)は、Token-State境界を定義する: トークン化は、コンテキスト依存の関係が固定される前に停止し、それらの計算はモデル状態に委ねられる。
制御されたシンボリック・音楽実験は、これらの境界を検証する。
効果的な座標構成は予測圧縮性を向上し、固定された関係射影はコンテキストモデリングを制約する。
シーケンス圧縮だけでは予測圧縮は保証されないが、文脈自由を保つことで、高階の音楽組織が明確な構造ラベルなしで出現することができる。
これらの結果は、なぜGPTスタイルのモデルが、アーキテクチャの転送ではなく、トークン化インタフェースが直接モダリティ間で転送しないのかを明らかにしている。
トークン化は、文脈構造が現れるような関係の自由を保ちながら、効果的な表現を見つけなければならない。
関連論文リスト
- Formal Properties of Language as Constraints on Neural Dynamics [0.20305676256390937]
現在の研究では、電極、ボクセル、または言語モデル層を飽和させる言語変数とテストで刺激が神経活動を予測する。
ここでは、言語の代数的性質が、メカニズムが保持しなければならない不変量を指定することを示す。
そこで我々は,2つの構成群が共有シナプスを介して収束し,サブ線形に結合し,マージする,新たな神経結合操作「メルド」を提案する。
論文 参考訳（メタデータ） (2026-09-13T08:41:56Z) - Progressive Cramming: Reliable Token Compression and What It Reveals [5.7789316833104225]
Token crammingは、ほぼ完璧に再構成された学習された埋め込みにシーケンスを圧縮する。
プログレッシブクラミング(progressive cramming)を導入し、ターゲットの接頭辞のトークン・バイ・トケン(token)を成長させ、再構成が不可能な場合にのみ停止する。
論文 参考訳（メタデータ） (2026-07-23T11:46:36Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Planning-aligned Token Compression for Long-Context Autonomous Driving [95.59023657139208]
条件付きVQ-VA上に構築した計画整合型ワーキングメモリフレームワークを提案する。
圧縮は歴史的軌跡と学習した計画意図の両方で条件付けられている。
歴史的文脈が行動の正確性に最も重要となる高信号動的シナリオについて評価する。
論文 参考訳（メタデータ） (2026-06-05T17:16:21Z) - Lost in Tokenization: Fundamental Trade-offs in Graph Tokenization for Transformers [50.98108117044413]
グラフ・ツー・トケン写像の選択は変換器の表現性の基本成分であることを示す。
既存の多くのグラフトークン化のためのビルディングブロックとして機能する3つのトークン化(スペクトル、ランダムウォーク、隣接トークン化)について検討する。
論文 参考訳（メタデータ） (2026-05-21T13:32:20Z) - PairAlign: A Framework for Sequence Tokenization via Self-Alignment with Applications to Audio Tokenization [8.126475706520063]
PairAlignは、シーケンスレベルの自己アライメントによるコンパクトなオーディオトークン化のためのフレームワークである。
広義の語彙を用いたコンパクトで非退化配列を学習する。
編集距離検索を保存し、アーカイブトークン数を55%削減する。
論文 参考訳（メタデータ） (2026-05-07T17:11:22Z) - Strips as Tokens: Artist Mesh Generation with Native UV Segmentation [84.90920018424036]
Strips as Tokens (SATO) は三角形のストリップにインスパイアされたトークン注文戦略を持つ新しいフレームワークである。
本手法は,UV境界を明示的に符号化した面の連結連鎖として配列を構成することにより,組織化されたエッジフローを自然に保存する。
この定式化の鍵となる利点は統一表現であり、同じトークン列を三角形または四辺メッシュに復号することができる。
論文 参考訳（メタデータ） (2026-04-10T09:13:09Z) - Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild [7.4746628878102195]
Shape-of-Youは意味対応のための教師なし学習フレームワークである。
SPair-71kおよびAP-10kデータセット上での最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-03-12T07:22:03Z) - Compact Conformal Subgraphs [19.72191566715581]
グラフベース共形圧縮(graph-based conformal compression)は、コンパクトな部分グラフを構築するためのフレームワークである。
定数係数カバレッジとサイズトレードオフを実現する効率的な近似アルゴリズムを設計する。
論文 参考訳（メタデータ） (2026-02-07T12:55:54Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - Bridging Continuous and Discrete Tokens for Autoregressive Visual Generation [85.82112629564942]
本稿では,離散トークンのモデリングをシンプルに保ちながら,連続トークンの強力な表現能力を維持するTokenBridgeを提案する。
本稿では,各特徴次元を独立に離散化し,軽量な自己回帰予測機構と組み合わせた次元ワイド量子化戦略を提案する。
提案手法は,標準的なカテゴリー予測を用いて,連続的手法と同等に再現および生成品質を実現する。
論文 参考訳（メタデータ） (2025-03-20T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。