Fugu-MT 論文翻訳(概要): Beyond the Autoregressive Horizon: A Comprehensive Survey of Diffusion Models, World Modelling, and State Space Models for Code

論文の概要: Beyond the Autoregressive Horizon: A Comprehensive Survey of Diffusion Models, World Modelling, and State Space Models for Code

arxiv url: http://arxiv.org/abs/2606.23690v1
Date: Thu, 09 Apr 2026 06:52:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:12.926232
Title: Beyond the Autoregressive Horizon: A Comprehensive Survey of Diffusion Models, World Modelling, and State Space Models for Code
Title（参考訳）: 自己回帰ホライゾンを超えて:拡散モデル、世界モデリング、コードのための状態空間モデルに関する包括的調査
Abstract要約: 次世代予測の論理とスケーリングのボトルネックを克服できる新たなパラダイムについて議論する。具体的には,Diffusion Models(拡散モデル)の可能性について論じる。これらの発達と認知神経科学の知見を結びつけることで、「システム2」コード生成エージェントの開発の方向性を概説する。
参考スコア（独自算出の注目度）: 5.020492526748575
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Autoregressive (AR) language models have driven significant progress in automated software engineering, enabling powerful code generation and assistance systems. However, the next-token prediction paradigm introduces structural limitations for code reasoning, including restricted global planning, challenges in maintaining long-range dependencies, and limited grounding in program execution semantics. Noting the heavy skewness of existing literature towards AR models, we discuss emerging paradigms that could potentially overcome the logic and scaling bottlenecks of next-token prediction by unlocking next-generation architectural capabilities for code intelligence. Specifically, we discuss the potential of Diffusion Models, which generate code via holistic denoising that captures long-range syntactic constraints often missed by AR models. We also discuss Code World Models (CWMs), which simulate execution states to support reasoning, and State Space Models (SSMs), which provide linear-time efficiency for massive contexts. By connecting these developments with findings from cognitive neuroscience, we outline directions for developing "System 2" code generation agents.
Abstract（参考訳）: 自動回帰(AR)言語モデルは、強力なコード生成とアシストシステムを可能にする自動ソフトウェアエンジニアリングにおいて、大きな進歩をもたらした。しかし、次世代の予測パラダイムでは、グローバルプランニングの制限、長距離依存関係維持の課題、プログラムの実行セマンティクスの制限など、コード推論の構造的な制限が導入されている。 ARモデルに対する既存の文献の過酷さに注目し、コードインテリジェンスの次世代アーキテクチャ機能をアンロックすることで、次世代予測のロジックとスケーリングボトルネックを克服する可能性のある、新たなパラダイムについて議論する。具体的には、ARモデルでしばしば欠落する長距離構文制約をキャプチャする全体的記述によるコードを生成する拡散モデルの可能性について論じる。また、推論をサポートするために実行状態をシミュレートするCode World Models (CWMs) と、大量のコンテキストに対して線形時間効率を提供するState Space Models (SSMs) についても論じる。これらの発達と認知神経科学の知見を結びつけることで、「システム2」コード生成エージェントの開発の方向性を概説する。

関連論文リスト

An Alternative Trajectory for Generative AI [4.176445342688645]
本稿では,ドメイン固有超知能に基づく代替トラジェクトリを提案する。 1つの巨大なジェネラリストモデルではなく、我々は「DSSモデルの社会」を想定する。このパラダイムは、能力をサイズから切り離して、インテリジェンスをエネルギー集約型データセンタから、セキュアなオンデバイスエキスパートに移行することを可能にする。
論文参考訳（メタデータ） (2026-03-14T22:33:28Z)
Top 10 Open Challenges Steering the Future of Diffusion Language Model and Its Variants [85.33837131101342]
本稿では,基盤基盤,アルゴリズム最適化,認知推論,統合マルチモーダルインテリジェンスという4つの柱で構成された戦略ロードマップを提案する。この移行は、複雑な構造的推論、動的自己補正、シームレスなマルチモーダル統合が可能な次世代AIの開発に不可欠である、と我々は主張する。
論文参考訳（メタデータ） (2026-01-20T14:58:23Z)
Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
論文参考訳（メタデータ） (2025-11-25T14:20:08Z)
A Survey of Vibe Coding with Large Language Models [93.88284590533242]
視覚符号化(Vibe Coding)は、開発者が成果観察を通じてAI生成の実装を検証する開発手法である。変革の可能性にもかかわらず、この創発的パラダイムの有効性は未解明のままである。この調査は、大規模な言語モデルによるVibe Codingの総合的かつ体系的なレビューを初めて提供する。
論文参考訳（メタデータ） (2025-10-14T11:26:56Z)
Toward Neurosymbolic Program Comprehension [46.874490406174644]
我々は,既存のDL技術の強みと従来の象徴的手法を組み合わせたニューロシンボリック研究の方向性を提唱する。第1回ニューロシンボリック・プログラム・フレームワークの確立をめざして,提案するアプローチの予備的結果を示す。
論文参考訳（メタデータ） (2025-02-03T20:38:58Z)
LLM as a code generator in Agile Model Driven Development [0.032771631221674334]
この研究は、これらの課題を克服するための実行可能な戦略としてモデル駆動開発(MDD)を擁護します。我々は GPT4 をコードジェネレータとして利用する Agile Model Driven Development (AMDD) アプローチを提案する。 GPT4自動生成機能を適用すると、JADEおよびPADEフレームワークと互換性のあるJavaとPythonコードが生成される。
論文参考訳（メタデータ） (2024-10-24T07:24:11Z)
Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文参考訳（メタデータ） (2024-07-22T18:00:00Z)
Large Trajectory Models are Scalable Motion Predictors and Planners [25.03447801499]
自律走行において、運動予測と計画が不可欠である。 STR(State Transformer)と呼ばれるスケーラブルな軌道モデルを導入する。 STRは、観測、状態、動作を1つの統合シーケンスモデリングタスクにアレンジすることで、動作予測と動作計画の問題を再構成する。
論文参考訳（メタデータ） (2023-10-30T15:12:41Z)
State space models can express n-gram languages [51.823427608117626]
我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。 n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
論文参考訳（メタデータ） (2023-06-20T10:41:23Z)
NeuroLogic A*esque Decoding: Constrained Text Generation with Lookahead Heuristics [73.96837492216204]
本稿では,将来のコスト見積を組み込んだ復号アルゴリズムであるNeuroLogic A*esqueを提案する。大規模言語モデルに効率的な効率的なルックアヘッドを開発する。提案手法は,5世代タスクにおける競合的ベースラインと,テーブル・トゥ・テキスト生成,制約された機械翻訳,キーワード制約付き生成における最先端性能を実現する。
論文参考訳（メタデータ） (2021-12-16T09:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。