論文の概要: Elastic Selective Spectral Hybrids for Train-Once, Export-Many Budgeted Inference

• arxiv url: http://arxiv.org/abs/2609.32486v1
• Date: Sat, 26 Sep 2026 11:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 08:41:52.701503
• Title: Elastic Selective Spectral Hybrids for Train-Once, Export-Many Budgeted Inference
• Title（参考訳）: 列車・列車・輸出・多数予算推論のための弾性選択スペクトルハイブリッド
• Abstract要約: 本稿では,各ハンケルスペクトルチャネルを独立再帰単位として実現したElastic Selective Spectral Hybrid (ESSH)を紹介する。 ESSHは入力依存の減衰と、時間保持と状態更新を入力依存にする書き込み/読み取りゲートを備えている。 言語理解,検索,クロスドメインテキスト,DNA実験を用いて,提案手法の有効性を検証する。
• 参考スコア（独自算出の注目度）: 12.076523227394178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deploying a language model under different computing and latency budgets calls for compact models with different quality-cost trade-offs. Towards this end, elastic spectral state space models provide ordered and temporally decomposed channels that can be truncated, but they are associated with linear time-invariant filters that cannot selectively preserve relevant past information or forget irrelevant information as the context evolves. To address this, we introduce the Elastic Selective Spectral Hybrid (ESSH), which realizes each Hankel spectral channel as an independent recurrent unit using fitted damped rotation modes. It also features an input-dependent decay and write/read gates that make temporal retention and state update input-dependent while preserving channel-wise truncation and a structured recurrence for efficient execution. ESSH combines these selective spectral mixers with sliding-window attention and jointly trains multiple capacities by reducing spectral-channel count and feed-forward width at different rates through a two-rate capacity map with full-model distillation. The resulting models support chunked parallel training and fused recurrent decoding while avoiding computation for discarded channels. At full capacity, ESSH achieves language-modeling quality comparable to similarly sized independently trained models, while smaller exports exhibit a smooth quality-cost trade-off. We validate the effectiveness of the proposed framework using language understanding, retrieval, cross-domain text, and DNA experiments, by assessing quality retention and the trade-off against independently trained and elastic baselines. At the 1.53B model configuration, fused batch-one decoding takes 1.37 ms per token on a B300, providing a 2.14-2.80x speedup over the tested Mamba-2 and Mamba-3 implementations and 3.03x over Transformer++ at matched parameter counts.
• Abstract（参考訳）: 異なるコンピューティングとレイテンシの予算の下で言語モデルをデプロイするには、異なる品質とコストのトレードオフを持つコンパクトモデルが必要だ。 この目的のために、弾性スペクトル状態空間モデルは順序付きおよび時間的に分解されたチャネルを提供するが、コンテキストが進化するにつれて関連する過去の情報を選択的に保存したり、無関係な情報を忘れたりするような線形時間不変フィルタと関連付けられる。 そこで本研究では,各ハンケルスペクトルチャネルを減衰回転モードを用いた独立再帰単位として実現したElastic Selective Spectral Hybrid (ESSH)を提案する。 また、入力依存の減衰と書き込み/読み取りゲートを特徴とし、チャンネルワイド・トランケーションを保ちながら時間的保持と状態更新に依存し、効率的な実行のために構造化された再実行を保っている。 ESSHは、これらの選択されたスペクトルミキサーとスライドウインドウの注意を組み合わせることで、フルモデル蒸留による2レートの容量マップを通して、スペクトルチャネル数とフィードフォワード幅を異なる速度で削減し、複数のキャパシティを共同で訓練する。 結果として得られたモデルは、捨てられたチャネルの計算を避けながら、チャンクされた並列トレーニングと融合されたリカレントデコーディングをサポートする。 ESSHは、独立に訓練されたモデルに匹敵する言語モデル品質を達成する一方、小型の輸出は、スムーズな品質とコストのトレードオフを示す。 本研究では,言語理解,検索,クロスドメインテキスト,DNA実験を用いたフレームワークの有効性を検証する。 1.53Bモデルでは、融合バッチワンデコーディングはB300上で1.37msで、テスト済みのMamba-2とMamba-3の実装で2.14-2.80x、一致したパラメータ数でTransformer++で3.03xのスピードアップを提供する。

関連論文リスト

• S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
  シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。 RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
  論文  参考訳（メタデータ） (2026-08-18T08:05:00Z)
• A Sparse Glimpse of the Whole: Train-Free Self-Speculative Decoding [11.263048239748379]
  長文推論のためのトレーニング不要な自己投機的デコーディングフレームワークであるSparseSpec-Lを紹介する。 SparseSpec-Lは動的にスパース化され、リコール可能なKVキャッシュを使用して、ターゲットモデルから直接軽量なドラフトを生成する。 複数の長期コンテキストタスクとモデルスケールにわたる実験は、一貫したエンドツーエンドの加速を示す。
  論文  参考訳（メタデータ） (2026-07-30T06:16:56Z)
• Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty [0.0]
  我々は,1日ごとの確率予測フレームワークを開発した。 モジュラー・ポストホック残量学習スキームとインモデル量子学習スキームを比較した。 この結果から, 再構成された入力に依存する場合の残差量子化の限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-14T13:02:18Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
  完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。 CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。 超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
  論文  参考訳（メタデータ） (2026-04-05T20:13:22Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• Latent Autoregressive Source Separation [5.871054749661012]
  本稿では,ベクトル量子化遅延自己回帰音源分離(入力信号を構成源にデミックスする)を導入する。 分離法は, 自己回帰モデルが先行するベイズ式に依拠し, 付加トークンの潜在和に対して離散的(非パラメトリック)確率関数を構築した。
  論文  参考訳（メタデータ） (2023-01-09T17:32:00Z)
• A Probabilistic Autoencoder for Type Ia Supernovae Spectral Time Series [1.3316902142331577]
  我々は、スペクトル時系列のスパース集合からIa型超新星(SNe Ia)の固有多様性を学習するために確率論的自己エンコーダを構築する。 PAEは低次元の潜伏空間を学習し、人口内に存在する非線形な特徴を捉えていることを示す。 次に、SNe Ia上の多くの下流タスクにPAEを使用し、より正確に宇宙論的な分析を行う。
  論文  参考訳（メタデータ） (2022-07-15T17:58:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。