論文の概要: Aperture: Merge-Consistent Rotary States for Compressed Tokens
- arxiv url: http://arxiv.org/abs/2609.36781v1
- Date: Tue, 29 Sep 2026 05:51:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.220515
- Title: Aperture: Merge-Consistent Rotary States for Compressed Tokens
- Title（参考訳）: Aperture:圧縮トークンのマージ一貫性ロータリーステート
- Abstract要約: トークン圧縮は、複数の位置からのコンテンツを組み合わせる。
回転位置埋め込みは通常、マージされたトークンを1つの座標に割り当てる。
後続の合併でどのような位置情報が生き残らなければならないか尋ねる。
- 参考スコア（独自算出の注目度）: 6.02574242789382
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Token compression combines content from several positions, yet rotary position embeddings usually assign the merged token one coordinate. We ask what positional information must survive later merges. Aperture stores Fourier moments of the token's weighted support at the model's rotary frequencies. We prove that these moments have minimal real dimension among continuous states sufficient for the selected expected rotary interactions. Represented mass makes updates additive; attention normalisation remains a separate readout choice. Uniform intervals give a centre rotation times a sinc gain. We characterise when centres determine interval widths and construct matched examples where they do not. Numerical checks verify the weighted-support implementation. In trained temporal readers, compression transfer varies with gain calibration and feature placement. In a prespecified native video question-answering comparison, stored support reaches $65.63\%$ accuracy versus $67.12\%$ for the deployed merging rule. These results separate exact positional preservation under compression from downstream benefit.
- Abstract（参考訳）: トークン圧縮は、いくつかの位置からのコンテンツを組み合わせるが、回転位置埋め込みは通常、マージされたトークンを1つの座標に割り当てる。
後続の合併でどのような位置情報が生き残らなければならないか尋ねる。
Apertureは、トークンの重み付きサポートのフーリエモーメントをモデルの回転周波数に格納する。
これらのモーメントは、選択された回転相互作用に十分な連続状態の中で最小の実次元を持つことを示す。
表現された質量は更新を付加するが、注意の正規化は別個の読み出し選択である。
一様間隔は中心回転時間にシンクゲインを与える。
中心が間隔幅を決定すると特徴付け、一致しない例を構成する。
数値チェックは、重み付きサポートの実装を検証する。
訓練された時間的リーダーでは、圧縮転送はゲインキャリブレーションと特徴配置によって変化する。
予め規定されたネイティブビデオ質問回答比較では、ストアドサポートは65.63\%の精度で、デプロイされたマージルールでは67.12\%の精度に達する。
これらの結果は、下流の利点から圧縮下の正確な位置保存を分離する。
関連論文リスト
- Geometry-Conditioned Fixed-Scaffold Encoders for Time-Warp Robust Sequence Retrieval [13.92721501074]
埋め込みベースの検索は、各アイテムを1回エンコードし、最寄りのランキングで検索できるので、長いシーケンスコレクションにとって魅力的である。
本稿では,パッチベースのエンコーダにおける不安定性の特定源について検討する。
固定スキャフォールドパッチエンコーダであるGeoPatchを提案する。
論文 参考訳（メタデータ） (2026-09-29T06:23:02Z) - Content-Based Addressing for Long Context [0.0]
RoPE(Rotary position embedded)は、各トークンの整数位置を用いて、注意の中に適用される回転を決定する。
これは、ローカルトークンの順序でうまく機能するが、コンテキスト長の増大は、位置的トレインテストのミスマッチを生成する。
代わりにトークンストリームを単位に分割し、通常のRoPE位置を各単位内に保持し、そのコンテンツから計算されたアドレスを全ての完了単位に割り当てます。
論文 参考訳（メタデータ） (2026-09-07T10:33:44Z) - TimePLE: Rethinking Temporal Representation for Video Temporal Grounding [45.27333302368563]
ビデオ時間グラウンド(VTG)は、自然言語クエリによって記述された連続的なビデオ間隔をローカライズすることを目的としている。
本稿では,VTGを終端予測からインターバルネイティブグラウンドに再構成するTimePLEを提案する。
4つのVTGベンチマークによる実験によると、TimePLEは終端予測ベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-27T02:56:43Z) - Surprise Forcing: What to Remember, When to Skip in Long Video Generation [65.0022589149937]
自己回帰拡散をストリーミングすることで、ミニスケールのビデオ合成が実用的になるが、そのコンテキスト境界と固定化スケジュールはリソースを均一に割り当てる。
我々は、両方の制限をオンラインリソース割り当て問題として扱う、トレーニング不要のフレームワークであるSurprise Forcingを紹介した。
VBench、VBench-Long、VBench-2.0の実験では、提案されたアロケーション戦略は、リアルタイムストリーミングスループットを維持しながら、長時間の一貫性と視覚的品質を改善する。
論文 参考訳（メタデータ） (2026-07-20T18:37:58Z) - STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation [60.597357847359255]
ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。
既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。
状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
論文 参考訳（メタデータ） (2026-07-03T03:28:25Z) - Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。
凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。
パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
論文 参考訳（メタデータ） (2026-06-04T13:31:12Z) - TIE: Time Interval Encoding for Video Generation over Events [50.66585165263848]
ディレクタースタイルのプロンプト、ロボットアクション予測、インタラクティブなビデオエージェントは、同時イベントに対する時間的根拠を要求する。
現代のビデオジェネレータは、ポイントワイドな位置エンコーディングを通して、タイムを離散的なポイントとして表現する。
Time Interval TIEは、プラグイン・アンド・プレイ・インターバル・アウェアの一般化である。
論文 参考訳（メタデータ） (2026-05-11T13:23:14Z) - TimeSqueeze: Dynamic Patching for Efficient Time Series Forecasting [46.671658381710785]
TimeSqueezeは動的パッチ機構で、ローカル信号の複雑さに基づいて各シーケンス内のパッチ境界を適応的に選択する。
TimeSqueezeは、同等のポイントツーケンベースラインに比べて最大20倍高速収束と8倍高いデータ効率を実現している。
論文 参考訳（メタデータ） (2026-03-11T22:38:13Z) - PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。
本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。
解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
論文 参考訳（メタデータ） (2025-11-14T05:56:47Z) - Once-for-All Sequence Compression for Self-Supervised Speech Models [62.60723685118747]
自己教師型音声モデルのための一括圧縮フレームワークを提案する。
このフレームワークは様々なタスクで評価され、固定圧縮率の変種と比較して限界劣化を示す。
また、適応圧縮率学習についても検討し、グリッド探索を必要とせず、タスク固有の好ましいフレーム期間を選択する能力を示す。
論文 参考訳（メタデータ） (2022-11-04T09:19:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。