論文の概要: Progressive Cramming: Reliable Token Compression and What It Reveals

• arxiv url: http://arxiv.org/abs/2607.21231v1
• Date: Thu, 23 Jul 2026 11:46:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.407948
• Title: Progressive Cramming: Reliable Token Compression and What It Reveals
• Title（参考訳）: プログレッシブクラミング:信頼性の高いトーケン圧縮とそれでわかること
• Abstract要約: Token crammingは、ほぼ完璧に再構成された学習された埋め込みにシーケンスを圧縮する。 プログレッシブクラミング(progressive cramming)を導入し、ターゲットの接頭辞のトークン・バイ・トケン(token)を成長させ、再構成が不可能な場合にのみ停止する。
• 参考スコア（独自算出の注目度）: 5.7789316833104225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Token cramming compresses sequences into learned embeddings with near-perfect reconstruction, but fixed token budgets and 99\% accuracy thresholds leave it unclear whether residual errors reflect optimization failures or fundamental limits. We introduce progressive cramming, which grows the target prefix token-by-token, stopping only when reconstruction is no longer achievable within a fixed optimization budget. Progressive trajectories occupy low-dimensional structure in embedding space. Prepending a crammed embedding causes a moderate but consistent accuracy drop on multiple-choice benchmarks even with the original prefix in context, and collapses capability almost entirely under generative evaluation. Causal attention-knockout interventions trace this degradation to the embedding's interactions in the model's early layers. These results position progressive cramming as a tool for studying compression limits and show that perfect reconstruction - achievable through brittle steering rather than transferable semantics - is insufficient for meaningful compression.
• Abstract（参考訳）: トークンクラミング(Token cramming)は、学習した埋め込みをほぼ完全な再構成で圧縮するが、固定トークン予算と99\%の精度閾値は、残差エラーが最適化の失敗や基本的な限界を反映しているかどうかをはっきりしない。 我々は,目標接頭辞のトークン・バイ・トケンを増大させるプログレッシブ・クラミングを導入し,固定された最適化予算で復元が不可能な場合にのみ停止する。 進行軌道は埋め込み空間の低次元構造を占有する。 クラミテッドの埋め込みを前倒しすると、元のプレフィックスがコンテキストにあったとしても、適度だが一貫した精度が低下し、ほぼ完全に生成的評価の下で機能崩壊する。 因果的注意-ノックアウトの介入は、モデルの初期層における埋め込みの相互作用にこの劣化を辿る。 これらの結果は、圧縮限界を研究するツールとしてプログレッシブクラミング(progressive cramming)を位置づけ、トランスファー可能なセマンティクスよりも脆いステアリングによって達成可能な完全な再構成が、意味のある圧縮には不十分であることを示す。

関連論文リスト

• Complete Suffix Prediction for Recommendation via Latent Retrieval over Process Graphs [0.06524460254566904]
  本稿では,プロセスグラフ上の遅延検索として完全な接尾辞予測を再構成するグラフベースの計量学習フレームワークを提案する。 本稿では,グラフに基づく潜時検索が,推奨プロセス監視のための逐次接尾辞予測に代わる有効な方法であることを示す。
  論文  参考訳（メタデータ） (2026-09-14T14:59:08Z)
• Fine-Tuning Low-Bit Models with Gradient in Quantized Code Space [78.05046281165885]
  微調整の低ビットモデルは、最終配置されたチェックポイントを同じ低ビット形式に保ちながら、量子化されたモデルを適用することを目的としている。 GradCodesは、異なる量子化データタイプにわたる微調整の低ビットモデルを一貫して改善する。
  論文  参考訳（メタデータ） (2026-08-31T14:54:30Z)
• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• Decoder-Preserving Sparse Autoencoders: Which Readouts Survive Sparse Compression? [0.0]
  我々は,この曖昧さを最適リッジ予測演算子と列車復号器保存SAE間の行列値歪みとして定式化する。 制御されたスパース実験は、宣言された事前がタスクサブスペースから保持された組み合わせを保護していることを示している。 これらの結果から,どのリフィットされたリニアリードアウトがスパース圧縮に耐えるかは,再構成品質が決定できないことが示唆された。
  論文  参考訳（メタデータ） (2026-07-19T22:19:17Z)
• ChunkFlow: Towards Continuity-Consistent Chunked Policy Learning [5.727608625370017]
  ChunkFlowは、チャンクポリシーのためのSeam対応のトレーニング・アンド・エグゼクティブフレームワークである。 各チャンクを凍結し、編集可能で、将来のゾーンに分割し、実行時に決定論的重複を適用し、シームと第1、第2の連続性損失で生の予測を訓練する。 CALVIN、LIBERO、および実際のロボットの実験では、低レイテンシ推論による成功-安定トレードオフが改善されている。
  論文  参考訳（メタデータ） (2026-07-14T17:43:25Z)
• Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models [0.0]
  隠れ状態反転問題を連続埋め込み空間最適化として検討する。 我々は、どのトークンが再構成を破るかを分析し、鋭い分類的非対称性を見つける。 GPT-2の最後の層が隠された状態は、原文と同じくらい敏感である。
  論文  参考訳（メタデータ） (2026-07-01T12:18:12Z)
• Next-Acceleration-Scale Prediction for Autoregressive MRI Reconstruction [52.32112533846212]
  MRI再建は本質的に不完全な逆問題である。 この制限は、再構成を離散的なマルチスケールの潜在空間に移動させ、自己回帰的次加速スケールの予測として機能させることによって解決する。 提案手法は,過度のアンサンプ下での多種多様なサンプリングパターンの再構成性能の向上を図っている。
  論文  参考訳（メタデータ） (2026-05-19T04:40:50Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• TokenTrim: Inference-Time Token Pruning for Autoregressive Long Video Generation [45.36298679288268]
  自動回帰ビデオ生成は、以前生成されたコンテンツに対して、新しいフレームのバッチを反復的に条件付けすることで、長いビデオ合成を可能にする。 近年の研究では、こうしたパイプラインは、長い地平線上でエラーが蓄積され増幅される厳しい時間的ドリフトに悩まされていることが示されている。 条件付けに再利用される前に、不安定な潜伏トークンを識別・削除することで、時間的ドリフトを緩和する簡易な推論時間法を提案する。
  論文  参考訳（メタデータ） (2026-01-30T19:44:16Z)
• OmniSAT: Compact Action Token, Faster Auto Regression [70.70037017501357]
  我々は、コンパクトで転送可能なアクション表現を学ぶOmni Swift Action Tokenizerを紹介する。 その結果、離散トークン化はトレーニングシーケンスを6.8$times$に短縮し、ターゲットエントロピーを低下させる。
  論文  参考訳（メタデータ） (2025-10-08T03:55:24Z)
• Beyond Progress Measures: Theoretical Insights into the Mechanism of Grokking [50.465604300990904]
  グロキング(Grokking)とは、オーバーフィッティングの拡張後のテスト精度の急激な改善を指す。 本研究では、素数演算のタスクにおいて、Transformerの基盤となるグルーキング機構について検討する。
  論文  参考訳（メタデータ） (2025-04-04T04:42:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。