Fugu-MT 論文翻訳(概要): Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference

論文の概要: Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference

arxiv url: http://arxiv.org/abs/2606.27802v1
Date: Fri, 26 Jun 2026 07:38:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-29 18:24:25.409364
Title: Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Title（参考訳）: ハイブリッド補正推論による階層的スパース予測符号化の高速化
Abstract要約: また,LISTA型イニシャライザーと短い修正再発は,長時間の反復推論よりもはるかに高速でありながら,純粋なアモート化よりも改善することを示した。以上の結果より,LISTA型イニシャライザーと短い補正再発は,長期反復推論よりもはるかに高速でありながら,純粋な償却よりも改善することが示唆された。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Hierarchical predictive coding provides an interpretable framework for perception as error-driven inference in multi-layer generative models, while sparse coding imposes parsimonious latent representations through explicit sparsity constraints. Their combination yields hierarchical sparse predictive coding models with appealing computational and neuroscientific properties, but practical use is often limited by the cost of iterative latent inference. In such models, each input may require many recurrent refinement steps before a useful sparse representation is obtained, and this burden becomes more severe as the hierarchy deepens. We study this bottleneck by holding the hierarchical sparse energy fixed and varying the inference procedure. The comparison includes four schemes: classical iterative inference based on ISTA, an accelerated MFISTA reference, structurally informed amortized inference using a LISTA-style bottom-up encoder adapted to the hierarchical model, and a hybrid method in which this fast amortized initialization is followed by a small number of corrective energy-based refinement steps. Under this shared objective, we measure reconstruction quality, sparsity, latency, and stability on static image benchmarks. The results show that a shallow LISTA-style initializer plus short corrective recurrence improves over pure amortization while remaining much faster than long iterative inference.
Abstract（参考訳）: 階層的予測符号化は、多層生成モデルにおけるエラー駆動推論として認識するための解釈可能なフレームワークを提供する。それらの組み合わせは、計算と神経科学的特性をアピールする階層的なスパース予測符号化モデルを生成するが、実際の使用は反復的な潜在推論のコストによって制限されることが多い。このようなモデルでは、各入力は有用なスパース表現を得る前に多くの繰り返し洗練されたステップを必要とし、階層が深まるにつれてこの負担はより深刻になる。我々はこのボトルネックを階層的なスパースエネルギーを固定し、推論手順を変化させることで研究する。比較には、ISTAに基づく古典的反復推論、加速MFISTA参照、階層モデルに適応したLISTAスタイルボトムアップエンコーダを用いた構造的情報付アモータイズ推論、この高速アモータイズ初期化を少数の補正エネルギーベース精製ステップで追従するハイブリッド手法の4つのスキームが含まれる。この共有目的のもと、静的画像ベンチマークにおいて、再構成品質、疎性、レイテンシ、安定性を計測する。以上の結果より,LISTA型イニシャライザーと短い補正再発は,長期反復推論よりもはるかに高速でありながら,純粋な償却よりも改善することが示唆された。

関連論文リスト

HoloRec: Holistic Encoding and Interleaved Reasoning for Generative Recommendation [57.802158017741824]
HoloRecは、表現、推論、生成を統一する内因性連鎖レコメンデーションメカニズムである。複数のパブリックレコメンデーションデータセットの実験は、HoloRecがベースラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2026-06-13T14:52:03Z)
One Step Closer to Ground Truth: A Multi-Scale Residual-Aware Representation Learning Pipeline for Predicting Time Series Data [6.704099492625706]
本稿では,予測と残差学習を表現学習の異なる段階に明確に分離する2段階のモデル非依存フレームワークを提案する。このパイプラインを仮説空間拡張として定式化することにより、我々のフレームワークは単一ステージアーキテクチャに固有の近似制限に対処する。
論文参考訳（メタデータ） (2026-06-09T10:31:54Z)
Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model [23.79711176655533]
電力法則として重量が減少する潜在構成特徴の組み合わせで表されるグローバルな高次関数について検討した。この構造に適応した層ワイドスペクトルアルゴリズムは、浅い非適応的な手法と比較してスケーリングの改善を実現する。特徴量回復しきい値の鮮明さを証明し、これらの遷移を集約すると、予測誤差の明らかなパワーロッド崩壊が生じることを示す。
論文参考訳（メタデータ） (2026-05-14T08:37:28Z)
PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
論文参考訳（メタデータ） (2026-02-11T12:39:41Z)
Fast Inference via Hierarchical Speculative Decoding [65.40448210801763]
階層的投機的復号法(HSD)は,各モデルがトークンを提案し,次に大きなモデルが1つのフォワードパスで検証する階層構造に,ドラフトモデルを積み重ねるアルゴリズムである。 HSDは最高の単軸ベースラインよりも1.2倍のスピードアップを達成している。
論文参考訳（メタデータ） (2025-10-22T15:56:19Z)
READER: Retrieval-Assisted Drafter for Efficient LLM Inference [0.0386965802948046]
自己回帰言語モデルはトークンシーケンスよりも分解された確率をインスタンス化するが、その厳密なシーケンシャルなデコーディングプロセスは、遅延推論に固有の低いバウンドを課す。このボトルネックは、大規模生成モデルのスケーラブルなデプロイにおける中心的な障害として現れています。本稿では,補助的ドラフトモデルのトレーニングを回避した投機的復号化フレームワークREADERを提案する。
論文参考訳（メタデータ） (2025-08-12T16:47:48Z)
Inference Acceleration of Autoregressive Normalizing Flows by Selective Jacobi Decoding [12.338918067455436]
正規化フローは、理論的厳密性、分析的対数類似性、エンドツーエンドトレーニングなどの利点を持つ有望な生成モデルである。近年の進歩は自己回帰モデリングを活用し、表現力と生成品質を大幅に向上させた。並列反復最適化により自己回帰推論を高速化する選択的ヤコビ復号法(SeJD)を提案する。
論文参考訳（メタデータ） (2025-05-30T16:53:15Z)
COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
論文参考訳（メタデータ） (2024-10-12T23:56:19Z)
Non-autoregressive Sequence-to-Sequence Vision-Language Models [59.445765313094434]
本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
論文参考訳（メタデータ） (2024-03-04T17:34:59Z)
Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
論文参考訳（メタデータ） (2023-04-22T15:32:59Z)
Self-Reflective Variational Autoencoder [21.054722609128525]
変分オートエンコーダ(VAE)は潜在変数生成モデルを学習するための強力なフレームワークである。自己回帰推論(self-reflective inference)と呼ばれるソリューションを導入します。実験では, 後部と後部を正確に一致させることの明確な利点を実証的に示す。
論文参考訳（メタデータ） (2020-07-10T05:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。