論文の概要: Rethinking Sequence Compression with Test-time Regression

• arxiv url: http://arxiv.org/abs/2610.31574v1
• Date: Thu, 22 Oct 2026 17:14:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.493218
• Title: Rethinking Sequence Compression with Test-time Regression
• Title（参考訳）: テスト時間回帰によるシーケンス圧縮の再考
• Abstract要約: テスト時間回帰のレンズを通してシーケンス圧縮を再考する。 これは、従来のプーリングとプロジェクションベースの圧縮の一般的な代替であるTTR-Compressorに繋がる。 我々は,TTR圧縮機をブロックワイズアテンションのための圧縮機として評価し,大規模言語モデルに対する視覚トークンのマージについて検討した。
• 参考スコア（独自算出の注目度）: 35.02643996404587
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence compression is a fundamental operation and a critical information bottleneck in efficient language and multimodal models, and yet prevailing approaches based on pooling or learned projections remain underperforming. We revisit sequence compression through the lens of test-time regression: input tokens define a regression problem whose fitted coefficients form the compressed representation. Importantly, the regression problem is learned end-to-end via backpropagation, while its coefficients are computed efficiently in closed form during the forward pass. This leads to TTR-Compressor, a general alternative to conventional pooling and projection-based compression. We evaluate TTR-Compressor as the compressor for block-wise sparse attention and the visual token merger for multimodal large language models. On block-wise sparse attention, TTR-Compressor improves RULER performance over attention-based compressors by a large margin. For visual token merging, it consistently outperforms the standard MLP merger and matches its performance with 55.6% fewer visual tokens. These results establish test-time regression as an effective primitive for sequence compression in efficient language and multimodal models.
• Abstract（参考訳）: シーケンス圧縮は、効率的な言語やマルチモーダルモデルにおける基本的な操作であり、重要な情報ボトルネックである。 我々は、テスト時間回帰のレンズを通してシーケンス圧縮を再考する:入力トークンは、圧縮された表現を形成する係数が適合する回帰問題を定義する。 重要なことに、回帰問題はバックプロパゲーションによってエンドツーエンドに学習され、その係数はフォワードパス中に閉じた形で効率的に計算される。 これは、従来のプーリングとプロジェクションベースの圧縮の一般的な代替であるTTR-Compressorに繋がる。 我々は,TTR圧縮機をブロックワイズアテンションのための圧縮機として評価し,マルチモーダル大言語モデルに対する視覚トークンの統合について検討した。 TTR圧縮機は、ブロックワイドのスパースアテンションにおいて、アテンションベース圧縮機よりも大きなマージンでRULER性能を向上させる。 ビジュアルトークンのマージでは、標準のMLPマージよりも一貫して優れており、その性能は55.6%少ないビジュアルトークンと一致している。 これらの結果は、効率的な言語およびマルチモーダルモデルにおけるシーケンス圧縮の有効なプリミティブとしてテスト時間回帰を確立する。

関連論文リスト

• Cognitive Chunking for Soft Prompts: Accelerating Compressor Learning via Block-wise Causal Masking [28.492055407384495]
  長期のコンテキストは、自己注意の計算コストがシークエンスの長さと2次的に増加するにつれて、推論遅延を増大させる。 既存のメソッドは通常、コンテキスト全体を無差別にメモリトークンの集合に圧縮する。 本稿では,メモリトークンの受容領域を逐次局所チャンクに制限する並列反復圧縮(PIC)を提案する。
  論文  参考訳（メタデータ） (2026-02-15T03:58:13Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• Proxy Compression for Language Modeling [58.904023114033954]
  プロキシ圧縮は、圧縮された入力の効率性を維持する代替のトレーニングスキームである。 コード言語モデリングの実験では、プロキシ圧縮がトレーニング効率を大幅に向上することを示した。 モデルスケールが大きくなるにつれて、プロキシトレーニングされたモデルは最終的に一致するか、あるいは競合するトークン化アルゴリズムのアプローチになる。
  論文  参考訳（メタデータ） (2026-02-04T07:36:46Z)
• From Long to Lean: Performance-aware and Adaptive Chain-of-Thought Compression via Multi-round Refinement [21.015658035494514]
  CoT(Chain-of-Thought)推論は複雑なタスクのパフォーマンスを改善するが、冗長性による遅延が大幅に増加する。 マルチラウンド適応チェイン・オブ・ソート圧縮(MACC)を提案する。 本手法は,最先端のベースラインに対して平均5.6%の精度向上を実現する。
  論文  参考訳（メタデータ） (2025-09-26T10:02:48Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• In-Context Former: Lightning-fast Compressing Context for Large Language Model [48.831304302467004]
  本稿では,Transformer-based large language model (LLM) の長期入力コンテキストを圧縮する手法を提案する。 我々は,単語の埋め込みから情報を集めるために,クロスアテンション機構と少数の学習可能なダイジェストトークンを使用する。 実験の結果, 圧縮時のベースライン浮動小数点演算の1/32しか必要とせず, 処理速度を68倍から112倍に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-19T15:14:55Z)
• Orthogonal Features-based EEG Signal Denoising using Fractionally Compressed AutoEncoder [16.889633963766858]
  eeg(denoising electroencephalogram)信号の解法として分数ベースの圧縮オートエンコーダアーキテクチャが導入された。 提案アーキテクチャでは,既存の手法と比較して,標準データセットのデノゲーション結果が改善されている。
  論文  参考訳（メタデータ） (2021-02-16T11:15:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。