Fugu-MT 論文翻訳(概要): Self-Orchestrating Language Models: Leveraging Semantic Dependence for Efficient Inference

論文の概要: Self-Orchestrating Language Models: Leveraging Semantic Dependence for Efficient Inference

arxiv url: http://arxiv.org/abs/2609.14850v1
Date: Sun, 13 Sep 2026 23:48:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.014303
Title: Self-Orchestrating Language Models: Leveraging Semantic Dependence for Efficient Inference
Title（参考訳）: 自己組織型言語モデル:効率的な推論のためのセマンティック依存を活用する
Abstract要約: 大きな言語モデル(LLM)は印象的な機能を示しているが、そのデプロイメントには大きな効率上の課題がある。私の主張は、言語モデルが意味依存を注釈付けすることで、自身の推論実行戦略を指示できるということです。各システムに対して、自動回帰デコーディングを並列化したり、中間的コンテキストを省略したり、あるいはデノートの順序を導出するために、これらのアノテーションに作用するランタイムを設計します。
参考スコア（独自算出の注目度）: 9.938460145337816
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) demonstrate impressive capabilities, but their deployment presents significant efficiency challenges. Autoregressive decoding imposes substantial inference latency and under-utilizes hardware accelerators in low batch size regimes. Discrete diffusion models can generate in parallel but struggle to match autoregressive quality without many diffusion denoising steps. Long-context reasoning creates memory bottlenecks that strain even state-of-the-art accelerators. My thesis is that language models can direct their own inference execution strategy by annotating semantic dependence -- which tokens depend on which others -- in their generation. I call such models self-orchestrating language models. For each system, I design a runtime that acts on these annotations to parallelize autoregressive decoding, evict intermediate context, or derive denoising orders, achieving Pareto-optimal quality-efficiency trade-offs. I demonstrate this approach through three self-orchestrating systems. First, PASTA uses semantic dependence to parallelize autoregressive decoding, training the model to annotate which output chunks can generate independently. Second, TIP uses semantic dependence to evict intermediate reasoning steps from the KV cache, reducing memory consumption while preserving accuracy. Third, Planned Diffusion uses semantic dependence to derive a denoising order for discrete diffusion, autoregressively generating a plan that specifies which chunks to denoise in parallel.
Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な機能を示しているが、そのデプロイメントには大きな効率上の課題がある。自動回帰復号化は、相当な推論遅延を課し、低バッチサイズでハードウェアアクセラレータを過小評価する。離散拡散モデルは並列に生成できるが、多くの拡散分極ステップを伴わずに自己回帰品質に適合する。長いコンテキスト推論は、最先端のアクセラレーターを歪ませるメモリボトルネックを生み出す。私の主張は、言語モデルは、セマンティック依存 -- トークンが他のものに依存している -- を世代内でアノテートすることで、独自の推論実行戦略を指示できるということです。私はそのようなモデルを自己組織化言語モデルと呼びます。各システムに対して、自動回帰デコーディングの並列化、中間コンテキストの排除、あるいはデノイズ化命令の導出、Pareto-Optimal品質効率のトレードオフを実現するために、これらのアノテーションを動作させるランタイムを設計します。このアプローチを3つの自己組織化システムを通じて実証します。まず、PASTAはセマンティック依存を使って自動回帰デコーディングを並列化し、どのアウトプットチャンクが独立して生成できるかをアノテートするようにモデルを訓練する。第2に、TIPは意味的依存を利用して、KVキャッシュから中間推論ステップを取り除き、正確性を保ちながらメモリ消費を減らす。第三に、Planned Diffusionは意味的依存を用いて離散拡散の復調順序を導出し、どのチャンクを並列に復調するかを指定するプランを自動回帰的に生成する。

関連論文リスト

AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling [60.04959047453115]
AURORA-LMは、デオード可能なテキスト表現の構築と、その分布のモデル化を分離した連続ラテント言語モデルである。 AURORA-LM は OpenWebText のフリージェネレーションと XSum の要約で評価された連続および拡散に基づく言語モデルの中で最も高い性能を達成している。
論文参考訳（メタデータ） (2026-08-03T17:59:50Z)
FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文参考訳（メタデータ） (2026-06-01T06:58:15Z)
Causal Autoregressive Diffusion Language Model [70.7353007255797]
CARDは厳密な因果注意マスク内の拡散過程を再構成し、単一の前方通過で密集した1対1の監視を可能にする。我々の結果は,CARDが並列生成のレイテンシの利点を解放しつつ,ARMレベルのデータ効率を実現することを示す。
論文参考訳（メタデータ） (2026-01-29T17:38:29Z)
Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
論文参考訳（メタデータ） (2026-01-25T17:36:04Z)
Auto-Regressive Masked Diffusion Models [9.239507801466322]
仮面拡散モデル (MDM) は言語モデリングの有望なアプローチとして登場している。自動回帰モデル(ARM)と比較してパフォーマンスのギャップがあり、より多くのトレーニングイテレーションが必要です。本稿では,自己回帰型マスケッド拡散モデルを提案する。これは,自己回帰型モデルのトレーニング効率と,拡散型モデルの並列生成能力を統一するものである。
論文参考訳（メタデータ） (2026-01-23T18:42:30Z)
WavefrontDiffusion: Dynamic Decoding Schedule or Improved Reasoning [39.57157800995735]
本稿では,アクティブトークンのウェーブフロントを最終位置から外へ拡張する動的デコード手法であるWavefrontDiffusionを提案する。推論とコード生成の4つのベンチマークで、WavefrontDiffusionは最先端のパフォーマンスを実現している。
論文参考訳（メタデータ） (2025-11-22T07:33:00Z)
Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
論文参考訳（メタデータ） (2025-05-28T17:39:15Z)
FlashDLM: Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [22.207275433870937]
拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。
論文参考訳（メタデータ） (2025-05-27T17:39:39Z)
Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding [57.42429912884543]
Diff-LM-Speech, Tetra-Diff-Speech, Tri-Diff-Speechを提案する。また,変分オートエンコーダと韻律ボトルネックに基づくプロンプトエンコーダ構造を導入し,プロンプト表現能力の向上を図る。実験の結果,提案手法はベースライン法よりも優れていた。
論文参考訳（メタデータ） (2023-07-28T11:20:23Z)
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。