論文の概要: LoopVAE: Recurrent Depth Across Scales for Visual Tokenization

• arxiv url: http://arxiv.org/abs/2609.11516v1
• Date: Thu, 10 Sep 2026 13:20:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.368192
• Title: LoopVAE: Recurrent Depth Across Scales for Visual Tokenization
• Title（参考訳）: LoopVAE: 視覚的トークン化のための複数スケールの繰り返し深さ
• Abstract要約: LoopVAEはスケールとループ条件のコアをスケール内で再利用する。 4ブロックコアはエンコーダまたはデコーダ毎に28ブロックアプリケーションを実行する。 同じ実行グラフを持つ非逆変換器アブレーションは、グローバルな共有の下で競合するPSNRとSSIMを見つける。
• 参考スコア（独自算出の注目度）: 3.805468327504537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical visual tokenizers typically allocate different processing blocks to different spatial scales. We ask how much of this computation can use the same parameters. LoopVAE reuses a scale- and loop-conditioned core within and across scales, while keeping resolution-changing transitions independent. A four-block core executes 28 block applications per encoder or decoder. On ImageNet-256, the 29M-parameter convolutional model reaches 0.28 rFID and 32.54 dB PSNR under an approximately 30-epoch two-stage training budget, using approximately 65% fewer parameters than the 84M reference VAEs. A non-adversarial Transformer ablation with the same execution graph finds competitive PSNR and SSIM under global sharing, although unshared blocks improve LPIPS. Targeted loop interventions show that completing the trained recurrence improves reconstruction and that even small feature updates can have substantial downstream effects. Truncation also exposes output-range errors, distinguishing useful recurrent computation from reliable early exit. Runtime profiling reveals the execution tradeoff: fewer stored weights require more arithmetic and longer runtime in the tested configurations. With convolutional and Transformer operators and single- or multi-resolution latent interfaces, LoopVAE establishes recurrent depth across scales as a parameter-sharing design axis for visual tokenization.
• Abstract（参考訳）: 階層的視覚トークン化器は通常、異なる処理ブロックを異なる空間スケールに割り当てる。 我々は、この計算のどれ程が同じパラメータを使えるのか尋ねる。 LoopVAEはスケールとループ条件のコアをスケール内で再利用し、解像度変更の遷移を独立に維持する。 4ブロックコアはエンコーダまたはデコーダ毎に28ブロックアプリケーションを実行する。 ImageNet-256では、29Mパラメータの畳み込みモデルが約30エポシックな2段階トレーニング予算の下で0.28 rFIDと32.54 dB PSNRに達し、パラメータは84Mの基準VAEよりも約65%少ない。 同じ実行グラフを持つ非逆変換器アブレーションは、グローバル共有の下で競合するPSNRとSSIMを見つけるが、非共有ブロックはLPIPSを改善する。 訓練された反復が完了すると再建が改善し、小さな機能更新でもかなりのダウンストリーム効果が得られることが、ループの介入によって示される。 また、トランケーションは出力範囲のエラーを露呈し、信頼できる早期出口から有用な再帰計算を区別する。 実行時のプロファイリングによって、実行時のトレードオフが明らかになる。 テストされた設定において、より算術的およびより長いランタイムを必要とする、格納されたウェイトが少なくなる。 畳み込み演算子とトランスフォーマー演算子、シングルまたはマルチレゾリューションの潜在インタフェースにより、LoopVAEは、ビジュアルトークン化のためのパラメータ共有設計軸として、スケールにわたる再帰深さを確立する。

関連論文リスト

• RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers [8.085475675888045]
  リカレントGPT(RecurrentGPT)は、固定深度前処理とコダブロックが1つの共有コア繰り返しR回ブラケットする再カレント深さ変換器である。 ゲート型リカレントニューラルネットワークにインスパイアされた私たちは、ライトウェイトプロジェクションとエレメントワイズ更新ゲートを使用して、リカレント更新を変調する。 この結果から,適応的深度再利用は品質の取引パラメータの原則的戦略であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-15T06:22:00Z)
• Variable-Width Transformers [57.07167443557886]
  本稿では,$times$-shaped > former architectureを提案する。 我々の設計は、パラメータフリーの残留リサイズ機構を利用して、中間層を狭めながら、より広い早期層と後期層を維持している。 平均的な層幅を減らすことで、このアーキテクチャは全体のFLOPを少なくし、KVキャッシュメモリを小さくし、I/Oコストを削減できる。
  論文  参考訳（メタデータ） (2026-06-16T17:59:03Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• BPDQ: Bit-Plane Decomposition Quantization on a Variable Grid for Large Language Models [56.504879072674015]
  本稿では,ビットプレーンとスカラー係数による可変量子化グリッドを構成するビットプレーン分解量子化(BPDQ)を提案する。 BPDQは、1つのGTX 3090上でQwen2.5-72Bを83.85%のGSM8Kの精度で提供できる(ただし16ビットでは90.83%)。
  論文  参考訳（メタデータ） (2026-02-04T02:54:37Z)
• Accelerated Rotation-Invariant Convolution for UAV Image Segmentation [36.23556720064733]
  本稿では,GPU最適化回転不変畳み込みフレームワークを提案する。 対称回転フィルタ間の構造化データ共有を利用して,メモリトラフィックと計算冗長性を大幅に低減した多方向畳み込みを実現する。 大規模なベンチマークでは、提案された畳み込みはCUDNNよりも20～55%高速なトレーニングと15～45%低消費電力を実現している。
  論文  参考訳（メタデータ） (2025-12-09T18:30:00Z)
• Image Coding for Machines via Feature-Preserving Rate-Distortion Optimization [31.210700220124192]
  本研究では,与えられたタスク損失に対する圧縮の効果を低減させる手法として,特徴量間の距離を用いてレート歪み(RDO)を行う方法を示す。 我々は、ブロックベースのエンコーダを用いて歪み項を計算可能にするために、RDOの定式化を単純化する。 複数の特徴抽出器と下流ネットワークに変換されたHEVCを用いたシミュレーションでは、同じタスクの精度で最大で17%のビットレートのセーブが可能であることを示す。
  論文  参考訳（メタデータ） (2025-04-03T02:11:26Z)
• Variable-size Symmetry-based Graph Fourier Transforms for image compression [65.7352685872625]
  可変サイズのグラフフーリエ変換を符号化フレームワークに導入する。 提案アルゴリズムは,ノード間の特定の対称接続を追加することにより,グリッド上の対称グラフを生成する。 実験により、SBGFTは、明示的な多重変換選択に統合された一次変換よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-24T13:00:44Z)
• Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
  本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。 分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。 SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-22T17:59:30Z)
• Resource Efficient Neural Networks Using Hessian Based Pruning [7.042897867094235]
  我々はFP32の代わりにFP16精度を用いてヘッセントレースを推定することで既存のアプローチを修正した。 我々の修正されたアプローチは、モデルアーキテクチャとGPUデバイスの異なる組み合わせの実験において、17%から最大44%のスピードアップを達成することができる。 また, FP16 と FP32 Hessian のトレース計算によるプルーニングの結果について述べる。
  論文  参考訳（メタデータ） (2023-06-12T11:09:16Z)
• UNETR++: Delving into Efficient and Accurate 3D Medical Image Segmentation [93.88170217725805]
  本稿では,高画質なセグメンテーションマスクと,パラメータ,計算コスト,推論速度の両面での効率性を提供するUNETR++という3次元医用画像セグメンテーション手法を提案する。 我々の設計の核となるのは、空間的およびチャネル的な識別的特徴を効率的に学習する、新しい効率的な対注意ブロック(EPA)の導入である。 Synapse, BTCV, ACDC, BRaTs, Decathlon-Lungの5つのベンチマークで評価した結果, 効率と精度の両面で, コントリビューションの有効性が示された。
  論文  参考訳（メタデータ） (2022-12-08T18:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。