論文の概要: Ghost Attractor Networks: Basin-Structured Dynamical Decoders for Closed-Loop Sequential Generation
- arxiv url: http://arxiv.org/abs/2606.18315v1
- Date: Tue, 16 Jun 2026 11:23:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 17:16:50.817124
- Title: Ghost Attractor Networks: Basin-Structured Dynamical Decoders for Closed-Loop Sequential Generation
- Title（参考訳）: ゴーストトラクタネットワーク:閉ループシーケンス生成のための盆地構造動的デコーダ
- Authors: Tianyu Wang, Ying Wang, Zhihao Liu, Xi Vincent Wang, Lihui Wang,
- Abstract要約: 本稿では,理論的に導出された動的デコーダであるGhost Attractor Networksを提案する。
ドリフトによって学習されたポテンシャルの下で進化し、建設によって盆地・トラクター構造を生成する。
- 参考スコア（独自算出の注目度）: 15.734979840846568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential output generation with large-scale Transformer and diffusion decoders pays a memory cost that grows with sequence length, plus iterative per-step computation. Replacing them with small feed-forward decoders restores efficiency but produces unstructured latent representations that limit closed-loop control: phase-conditioned action generation and cross-step latent carry-over both require a latent geometry with stable basins. This article proposes Ghost Attractor Networks, a theoretically derived dynamical decoder whose latent evolves under a learned potential with drift and produces a basin-attractor structure by construction. Three desiderata (multi-modality, decoder-level single-pass switching, and constant memory) motivate the potential-drift form, and mode transitions arise as saddle-node bifurcations with ghost-attractor escape. A hierarchical phase-space decomposition separates first-order basin convergence from second-order proprioceptive refinement. Empirically, a Ghost trained end-to-end with a behavioral-cloning and contrastive objective exhibits the predicted gradient-flow contraction in its potential, with the gradient norm decaying by 67 percent across five integration steps on 1430 held-out samples. Ghost is evaluated as a robotic action decoder. A 2.3-million-parameter Ghost matches the offline accuracy of a 1.07-billion-parameter Diffusion Transformer at 462 times fewer parameters and 32 times lower latency, and beats five alternative 2M-parameter decoders (MLP, Neural ODE, CVAE, Transformer, 1-step Diffusion) on offline mean squared error by 5.9 to 29 percent. On the LIBERO-10 closed-loop benchmark, phase conditioning on Ghost's basin-structured latent yields a 13.5 percentage-point success-rate gain over a feed-forward MLP baseline, and persistent-latent ensembling reaches a 95.7 percent final success rate.
- Abstract（参考訳）: 大規模トランスフォーマーと拡散デコーダによる逐次出力生成では、シーケンス長とともに増大するメモリコストに加えて、反復的なステップ毎の計算を行う。
小さなフィードフォワードデコーダで置き換えると効率が回復するが、閉ループ制御を制限する非構造潜在表現を生成する。
提案するGhost Attractor Networksは理論的に導出された動的デコーダであり, 遅延はドリフトで学習されたポテンシャルの下で進化し, 建設によって流域-トラクター構造を生成する。
3つのデシダラタ(マルチモダリティ、デコーダレベルのシングルパススイッチング、メモリの一定)は潜在的なドリフト形式を動機付け、モード遷移はゴースト・アトラクタ・エスケープを伴うサドル・ノード分岐として生じる。
階層的な位相空間分解は、第1階の盆地収束と第2階の受容的微細化を分離する。
実証的に、ゴーストは行動閉包と対照的な目的を持つエンドツーエンドの訓練を行い、予測された勾配-流れの収縮をそのポテンシャルで示し、勾配ノルムは1430個の保持されたサンプルの5つの積分ステップで67%減衰する。
ゴーストはロボットアクションデコーダとして評価されている。
2.3ミリパラメータのゴーストは1.07キロパラメータ拡散変換器のオフライン精度を462倍のパラメータと32倍のレイテンシで一致させ、5つの代替2Mパラメータデコーダ(MLP, Neural ODE, CVAE, Transformer, 1-step Diffusion)を平均2乗誤差で5.9%から29%上回る。
LIBERO-10 のクローズドループベンチマークでは、Ghost の流域構造遅延剤の位相条件付けにより、フィードフォワード MLP ベースラインよりも13.5パーセントの成功率が向上し、持続潜時アンサンブルは95.7%の最終的な成功率に達する。
関連論文リスト
- Spectrally Regularized Latent Flow Matching for Turbulence Generation [0.0]
本稿では,スペクトル正規化圧縮ステージを備えた潜在フローマッチングフレームワークを提案する。
Re_f Approx 2250の2562 DNSデータセットでは、MSEで訓練されたVAEをゾーン重み付き対数スペクトルの目的に置き換えることで、スペクトルパワーが深い。
改良された潜在表現はまた、コスト-忠実性のトレードオフを著しく改善する。
論文 参考訳（メタデータ） (2026-06-10T06:09:51Z) - How Much Capacity Does EEG Denoising Need? Ultra-Compact Networks reveal Benchmark Saturation and Metric-Utility Gap [0.0]
深層学習EEG(Deep Learning EEG Denoising Architectures)は、数万から数千万のパラメータに拡張されているが、実験変数としてモデルキャパシティを分離した以前の研究はない。
アーキテクチャ,損失,データ分割,トレーニングレシピの両ギャップに対処し,最小限の深さ分離可能な畳み込みU-Netで1.05Kから40.26Kパラメータまでのチャネル幅を網羅する。
論文 参考訳（メタデータ） (2026-06-07T12:17:25Z) - Scaling Parallel Sequence Models to Foundation-Scale Vision Encoders [123.58723804218151]
ビジョンファウンデーションモデルは、自己注意の二次的なコストによってボトルネックとなる。
2次元空間伝搬伝搬に基づくC-GSPNを提案する。
論文 参考訳（メタデータ） (2026-05-30T14:29:43Z) - DriftingMol: Decoder-Coupled Drift for One-Pass Property-Conditional Molecular Generation [8.59642525668345]
SELFIES潜在分子空間にドリフトモデルを適用する2段階のフレームワークであるDriftingMolを紹介する。
デコーダ結合ドリフトでは、ドリフト勾配はデコーダ特徴写像を通してDitジェネレータに逆伝播され、プルバックメトリックが誘導される。
制御された15の変種のうち、デコーダ特徴による勾配経路を保存するモデルは、テストされた潜在空間、ランダムな機能、および外部機能ドリフトの変種よりも高い相関性が得られる。
論文 参考訳（メタデータ） (2026-05-24T03:17:20Z) - N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation [68.47358899451255]
N-vium (N-vium) は、標準ハードウェア上での計算を部分的に並列化する変圧器である。
N-Viumは複数の深さで予測ヘッドを付加し、次のトーケン分布をこれらの出口上の学習混合物として定義する。
論文 参考訳（メタデータ） (2026-05-13T08:46:17Z) - Coupling Models for One-Step Discrete Generation [50.37847093567075]
カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。
単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。
LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
論文 参考訳（メタデータ） (2026-05-08T03:40:39Z) - Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression [7.913101398893967]
本稿では,個々の出力チャネルのレベルにおける機能的冗長度を測定するリコンストラクションベースの基準を提案する。
複素相互作用場を周波数領域に変換し、低容量オートエンコーダを訓練して正規化スペクトルを再構成する。
複素相互作用場のスペクトル再構成忠実度は、アグレッシブ圧縮下でのチャネルレベルの冗長性の効果的なプロキシであることがわかった。
論文 参考訳（メタデータ） (2026-01-14T10:34:18Z) - Complexity Matters: Rethinking the Latent Space for Generative Modeling [65.64763873078114]
生成的モデリングにおいて、多くの成功したアプローチは、例えば安定拡散のような低次元の潜在空間を利用する。
本研究では, モデル複雑性の観点から潜在空間を再考することにより, 未探索の話題に光を当てることを目的としている。
論文 参考訳（メタデータ） (2023-07-17T07:12:29Z) - DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。
詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。
トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
論文 参考訳（メタデータ） (2022-03-01T15:36:38Z) - End-to-End Multi-speaker Speech Recognition with Transformer [88.22355110349933]
音声認識モデルにおけるRNNベースのエンコーダデコーダをトランスフォーマーアーキテクチャに置き換える。
また、計算量を削減するために、シーケンス全体ではなくセグメントに制限されるセルフアテンションコンポーネントを変更します。
論文 参考訳（メタデータ） (2020-02-10T16:29:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。