論文の概要: Compression Through Time: An Interplay of Separability, Stationarity and Capacity

• arxiv url: http://arxiv.org/abs/2610.16660v2
• Date: Wed, 21 Oct 2026 06:29:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:05.944121
• Title: Compression Through Time: An Interplay of Separability, Stationarity and Capacity
• Title（参考訳）: 時間による圧縮: 分離性、定常性、容量の相互作用
• Abstract要約: 離散化LSTMを用いて、多くのデータセットの最終段階にわたる顕著な圧縮を観察する。 この効果は3つの競合メカニズムによって説明される。 その結果,時間的圧縮の重要な要因は,クラス分離性,時間的定常性,ネットワーク容量であることがわかった。
• 参考スコア（独自算出の注目度）: 8.327059084706567
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information-theoretic and geometric compression have been widely studied as possible explanations for generalization. Yet their temporal dynamics in recurrent networks remain largely unexplored. Using discretized LSTMs, whose finite embedding space enables direct estimates of information quantities, we observe pronounced compression across the final timesteps of many datasets. We explain this effect through three competing mechanisms: (i) class separability permits stronger compression at the final timestep; (ii) shared recurrent dynamics propagate this pressure across timesteps with similar activation states, making its extent depend on temporal stationarity; and (iii) limited representational capacity opposes prolonged compression because it restricts information available for subsequent computation. We systematically test these mechanisms through controlled synthetic interventions and real-world sequence tasks. Our results identify class separability, temporal stationarity, and network capacity as key determinants of temporal compression, and suggest that compression acts as a regularizer-potentially beneficial when excess capacity is available, but harmful to generalization when it consumes memory needed for the task.
• Abstract（参考訳）: 情報理論および幾何学的圧縮は、一般化の可能な説明として広く研究されている。 しかし、リカレントネットワークにおける時間力学はほとんど未解明のままである。 情報量を直接推定できる有限埋め込み空間を持つ離散化LSTMを用いて、多くのデータセットの最終段階にわたって顕著な圧縮を観察する。 この効果を3つの競合メカニズムで説明します。 i) クラス分離性は、最終段階においてより強い圧縮を可能にする。 (II)共有リカレント力学は、同様のアクティベーション状態のタイムステップでこの圧力を伝播させ、その範囲は時間的定常性に依存する。 (iii) 後続の計算で利用可能な情報を制限するため、圧縮の長期化に反対する表現能力の制限。 制御された合成介入と実世界のシーケンスタスクにより,これらのメカニズムを体系的に検証する。 本研究は, 時間的圧縮の重要な要因として, クラス分離性, 時間的定常性, ネットワーク容量を同定し, 余剰容量が利用可能な場合, 圧縮が正規化要因として有効であるが, タスクに必要なメモリを消費した場合の一般化には有害であることが示唆された。

関連論文リスト

• STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation [60.597357847359255]
  ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。 既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。 状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
  論文  参考訳（メタデータ） (2026-07-03T03:28:25Z)
• Context-Aware Markov VAE for CSI Compression in Wireless Systems [6.089826534796873]
  kメモリマルコフ変分オートエンコーダ(k-MMVAE)に基づく文脈対応圧縮フレームワークを提案する。 提案手法は,メモリレスベースラインや弱いシーケンシャルベースラインに比べて,目標CSI再構成性能を向上することを示す。 これらの結果から, 明示的な潜時モデリングは, 限られたフィードバック制約下でのCSI圧縮に有効なメカニズムを提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-15T11:56:43Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models [69.84867664371826]
  視覚トークン圧縮はLVLM(Large Vision-Language Models)のロバスト性を大幅に低下させることを示す。 小さくて知覚不能な摂動はトークンの重要度を著しく変更し、圧縮機構が誤ってタスククリティカル情報を破棄する。 我々は,この脆弱性を体系的に研究し,活用するための圧縮認識攻撃を提案する。
  論文  参考訳（メタデータ） (2026-01-17T13:02:41Z)
• Unleashing Temporal Capacity of Spiking Neural Networks through Spatiotemporal Separation [67.69345363409835]
  スパイキングニューラルネットワーク(SNN)は、時間的処理に自然に適していると考えられており、膜電位の伝播は、コア時間的モデリングメカニズムとして広く見なされている。 我々は, 膜伝播を段階的に段階的に除去する非ステートフル(NS)モデルの設計を行った。
  論文  参考訳（メタデータ） (2025-12-05T07:05:53Z)
• When Tokens Talk Too Much: A Survey of Multimodal Long-Context Token Compression across Images, Videos, and Audios [44.01959390088695]
  MLLM(Multimodal large language model)は、より長く複雑なコンテキストを処理する。 トークン圧縮は、トレーニングと推論の両方でトークンの数を効率的に削減する、目立たしく批判的なアプローチとして登場した。 本稿では,マルチモーダル長コンテキストトークン圧縮の発芽領域に関する最初の体系的調査と合成について述べる。
  論文  参考訳（メタデータ） (2025-07-27T09:33:56Z)
• DAC: A Dynamic Attention-aware Approach for Task-Agnostic Prompt Compression [63.83422894663496]
  タスク非依存型プロンプト圧縮(DAC)のための動的注意認識手法を提案する。 このアプローチは、エントロピー情報とアテンション情報を効果的に統合し、圧縮中のエントロピーシフトを動的に検知し、きめ細かいプロンプト圧縮を実現する。 LongBench、GSM8K、BBHを含む様々な領域にわたる大規模な実験は、DACが一貫して堅牢で実質的な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2025-07-16T06:16:06Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Latent Discretization for Continuous-time Sequence Compression [21.062288207034968]
  本研究では、データシーケンスを、基礎となる連続時間プロセスからの観測として扱う。 本手法は,識別の仕方を学習することで,ビットレートの低減を自動で実現できることを示す。
  論文  参考訳（メタデータ） (2022-12-28T01:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。