論文の概要: Wavelet as Tokenizer: Preliminary Results on a Shared Wavelet Token Schema for Natural Signals
- arxiv url: http://arxiv.org/abs/2606.02631v1
- Date: Sat, 30 May 2026 14:59:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.473815
- Title: Wavelet as Tokenizer: Preliminary Results on a Shared Wavelet Token Schema for Natural Signals
- Title（参考訳）: TokenizerとしてのWavelet:自然信号用共有Wavelet Token Schemaの予備的結果
- Abstract要約: 本稿では、音声、画像、ビデオが共通のウェーブレットトークンスキーマを共有することができるかどうかについて検討する。
Speech Commands、EuroSAT RGB、DAVIS 2017のデータでは、密度の高い共有モデルは39.92dBオーディオ、29.37dB画像、23.93dBビデオPSNRに達する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies whether audio, images, and video can share a common wavelet token schema rather than relying on separate modality-specific latent grids. It introduces a preliminary continuous-token model built around a one-level Haar DWT/IDWT frontend, a shared coefficient-token layout, optional structural metadata, lightweight modality value adapters, and a shared token-wise encoder-decoder trunk. On Speech Commands, EuroSAT RGB, and DAVIS 2017 data, a dense shared model reaches 39.92 dB audio, 29.37 dB image, and 23.93 dB video PSNR. A matched-rate sweep under continuous latent scalar budgets indicates that the visual gains are not explained solely by latent capacity, while also showing that additive metadata embeddings are not a universal source of improvement. Finally, fixed-rate energy selection provides a strong non-parametric baseline: energy_global improves average PSNR over uniform selection by 16.73 dB for audio, 16.90 dB for images, and 15.86 dB for video under compressed keep ratios. Masked sparse training reaches 34.45 dB video PSNR with 50% of dense tokens. The results support a unified wavelet token schema and sparse token interface, while stopping short of establishing a universal discrete vocabulary.
- Abstract（参考訳）: 本稿では,音声,画像,ビデオが,個別のモダリティ固有の潜在格子に依存するのではなく,共通のウェーブレットトークンスキーマを共有できるかどうかを考察する。
ワンレベルHaar DWT/IDWTフロントエンド、共有係数トケンレイアウト、オプション構造メタデータ、軽量なモダリティ値アダプタ、共有トークンワイドエンコーダ・デコーダトランクを中心に構築された予備的連続トケンモデルを導入する。
Speech Commands、EuroSAT RGB、DAVIS 2017のデータでは、密度の高い共有モデルは39.92dBオーディオ、29.37dB画像、23.93dBビデオPSNRに達する。
連続的な遅延スカラー予算下でのマッチングレートのスイープは、視覚的なゲインは潜在能力によってのみ説明されるのではなく、付加的なメタデータの埋め込みは改善の普遍的な源ではないことを示している。
最後に、固定レートのエネルギー選択は強い非パラメトリックのベースラインを提供する: Energy_globalは、オーディオの16.73dB、画像の16.90dB、圧縮された保留比でビデオの15.86dBで、一様選択よりも平均PSNRを改善する。
仮面スパーストレーニングは34.45dBビデオPSNRに到達し、50%の高密度トークンが使用される。
結果は、統一されたウェーブレットトークンスキーマとスパーストークンインターフェースをサポートし、普遍的な離散語彙を確立するのを阻止する。
関連論文リスト
- Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation [3.7696381512190804]
非形式的トークンを捨てる適応トークンセレクタを提案する。
実験により,本モデルが最先端圧縮比で強い復元と生成品質を実現することを示す。
論文 参考訳（メタデータ） (2026-08-25T09:19:22Z) - Zero-Shot SAM2 Segmentation and Vision Transformer-Based Recognition of Elamite Cuneiform Symbols from Degraded Tablet Images [0.0]
本稿では,Persepolis Fortification Archiveで評価されたセグメンテーション誘導型トランスフォーマーパイプラインであるEpigraphNetを紹介する。
1,239の注釈付きタブレット画像から、明るさ適応型形態素前処理とゼロショットSAM2-Largeセグメンテーションがクリーンなバイナリシンボルマスクを生成する。
EpigraphNetは、132クラスのベンチマークで86.41%のトップ-1の精度に達した。
論文 参考訳（メタデータ） (2026-08-19T05:02:41Z) - CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models [9.660619113725843]
我々はCRAFT: Resive Adaptive Fusion Video Tokensによる圧縮を提案する。
CRAFTは、最先端のトークン圧縮手法よりも一貫して優れている。
圧縮価格は約8ドルで、バックボーンの平均精度の約97%を保持します。
論文 参考訳（メタデータ） (2026-08-03T03:27:46Z) - OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。
Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:41:00Z) - Data-driven Video Codec with Implicit Neural Representations [0.0]
ビデオは、時空座標をRGB値とオーディオ振幅にマッピングする単一正弦波表現ネットワーク(SIREN)の重みとして保存する。
オーバーフィットした教師ネットワークは、応答に基づく知識蒸留によってより小さな学生に圧縮される。
1ビットから32ビットまでのビット幅の量子化は、再構成の品質が16ビットで飽和することを示している。
論文 参考訳（メタデータ） (2026-07-02T17:11:52Z) - Channel-wise Vector Quantization [59.96775089792198]
本稿では,パッチワイズトークンをチャネルワイズトークンに置き換える新しい画像トークン化パラダイムとして,チャネルワイズベクトル量子化(CVQ)を提案する。
CVQは、イメージをパッチのグリッドとしてではなく、個別の視覚的詳細レベルとして表現する。
CVQは16K以上のコードブックサイズで100%のコードブック利用を実現し,従来のベクトル量子化よりも再現性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2026-05-25T17:52:08Z) - WavFlow: Audio Generation in Waveform Space [25.62432990858879]
WavFlowは、中間表現なしで生波形空間で直接高忠実なオーディオを生成するフレームワークである。
自動データパイプラインを活用して、500万の高品質のビデオテキストオーディオトリプルをキュレートします。
WavFlowは、VGGSound (FD_PaSST: 59.98, IS_PANNs: 17.40, DeSync: 0.44)とAudioCaps (FD_PANNs: 10.63, IS_PANNs: 12.62)の競合性能を達成した。
論文 参考訳（メタデータ） (2026-05-18T17:59:10Z) - Compute Optimal Tokenization [79.3815358070537]
圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。
所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。
実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
論文 参考訳（メタデータ） (2026-05-02T01:53:22Z) - EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation [80.13014959623452]
EVATokは、$textbfE$fficient $textbfV$ideo $textbfA$daptive $textbfTok$enizersを生成するフレームワークである。
EVATok は UCF-101 上でより優れた再構成と最先端のクラス・ビデオ生成を実現する。
論文 参考訳（メタデータ） (2026-03-12T17:59:59Z) - EchoingPixels: Cross-Modal Adaptive Token Reduction for Efficient Audio-Visual LLMs [28.295585578439212]
EchoingPixelsは、現実世界のシーンにおける視覚と音の共存と相互作用にインスパイアされたフレームワークである。
これは、モダリティごとに固定予算を使うのではなく、オーディオ・ビジュアル・トークンの合計プールからトークンを減らします。
オリジナルのトークンの5～20%しか使用せず、2～3倍のスピードアップとメモリ削減を実現している。
論文 参考訳（メタデータ） (2025-12-11T06:18:58Z) - VQToken: Neural Discrete Token Representation Learning for Extreme Token Reduction in Video Large Language Models [35.38573641029626]
最小限の離散トークンを用いてビデオ全体を表現することを目的としたExtreme Short Token Reductionという新しいタスクを紹介した。
Extreme Short Token Reductionタスクでは、私たちのVQTokenはシーケンスをオリジナルの長さのわずか0.07パーセントまで圧縮し、NextQA-MCベンチマークでは0.6%の精度しか達成していません。
論文 参考訳（メタデータ） (2025-03-21T09:46:31Z) - Dynamic and Compressive Adaptation of Transformers From Images to Videos [22.515273344973355]
InTIは動的フレーム間トークン補間を用いた圧縮画像から映像への適応のための新しい手法である。
Kinetics-400 では、InTI が 87.1 の最高-1 の精度に達し、GFLOP の37.5% の顕著な減少がある。
追加の時間モジュールと組み合わせると、InTIは最高1の精度87.6で、GFLOPsは37%減少する。
論文 参考訳（メタデータ） (2024-08-13T12:01:22Z) - CAIT: Triple-Win Compression towards High Accuracy, Fast Inference, and Favorable Transferability For ViTs [89.79139531731637]
ビジョントランスフォーマー (ViT) は様々なビジョンタスクの最先端モデルとして登場した。
本稿では,高次アンダーライン精度,高速アンダーライン推論速度,下流タスクに対する好適なアンダーライン変換性を両立させたViTの合同アンダーライン圧縮法を提案する。
論文 参考訳（メタデータ） (2023-09-27T16:12:07Z) - Scalable Neural Video Representations with Learnable Positional Features [73.51591757726493]
我々は,学習可能な位置特徴(NVP)を用いて,映像を潜時符号として効果的に再生するニューラル表現の訓練方法を示す。
一般的なUVGベンチマークにおけるNVPの優位性を実証し,先行技術と比較して,NVPは2倍の速度(5分以内)で走行するだけでなく,符号化品質も34.07rightarrow$34.57(PSNR測定値で測定)に上回っている。
論文 参考訳（メタデータ） (2022-10-13T08:15:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。