論文の概要: DIP: Dynamic In-Context Planner For Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2601.03199v1
• Date: Tue, 06 Jan 2026 17:24:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:13.042726
• Title: DIP: Dynamic In-Context Planner For Diffusion Language Models
• Title（参考訳）: DIP:拡散言語モデルのための動的インコンテキストプランナ
• Authors: Yang Li, Han Meng, Chenan Wang, Haipeng Chen,
• Abstract要約: textbfDynamic textbfIn-Context textbfPlanner (DIP)を提案する。 その結果、DIPは、標準推論よりも最大12.9$times$推論スピードアップ、KVキャッシュ強化推論よりも1.17$times$生成品質を維持している。
• 参考スコア（独自算出の注目度）: 15.138814669162187
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion language models (DLMs) have shown strong potential for general natural language tasks with in-context examples. However, due to the bidirectional attention mechanism, DLMs incur substantial computational cost as context length increases. This work addresses this issue with a key discovery: unlike the sequential generation in autoregressive language models (ARLMs), the diffusion generation paradigm in DLMs allows \textit{efficient dynamic adjustment of the context} during generation. Building on this insight, we propose \textbf{D}ynamic \textbf{I}n-Context \textbf{P}lanner (DIP), a context-optimization method that dynamically selects and inserts in-context examples during generation, rather than providing all examples in the prompt upfront. Results show DIP maintains generation quality while achieving up to 12.9$\times$ inference speedup over standard inference and 1.17$\times$ over KV cache-enhanced inference.
• Abstract（参考訳）: 拡散言語モデル (DLM) は、文脈内例を用いた一般的な自然言語処理に強い可能性を示している。 しかし、双方向の注意機構のため、DLMは文脈長が増加するにつれて相当な計算コストを発生させる。 この研究は、自己回帰言語モデル(ARLM)の逐次生成とは異なり、DLMにおける拡散生成パラダイムは、生成中のコンテキストの‘textit{efficient dynamic adjust of the context}’を可能にする。 この知見に基づいて, 生成中のコンテキスト内例を動的に選択・挿入する文脈最適化手法であるDIP(textbf{D}ynamic \textbf{I}n-Context \textbf{P}lanner)を提案する。 その結果、DIPは、標準推論よりも最大12.9$\times$推論スピードアップ、KVキャッシュ強化推論よりも1.17$\times$生成品質を維持している。

関連論文リスト

• Context-level Language Modeling by Learning Predictive Context Embeddings [79.00607069677393]
  textbfContextLMは、固有のtextbfnext-context予測目標で標準事前学習を強化するフレームワークである。 このメカニズムは、将来のトークンチャンクから派生したエラー信号を利用して、マルチトークンコンテキストの予測表現を学ぶようモデルを訓練する。 GPT2およびPythiaモデルファミリーの実験では、1.5ドルBのパラメータまでスケールし、ContextLMがパープレキシティとダウンストリームのタスクパフォーマンスの両方で一貫した改善を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-23T07:09:45Z)
• Unlocking the Potential of Diffusion Language Models through Template Infilling [33.69224085914102]
  Diffusion Language Models (DLMs) は、自動回帰言語モデルに代わる有望な代替品として登場した。 DLMの生成プロセスに適した条件付け手法であるテンプレート埋め込み(TI)を提案する。 TIは, 生成品質を維持しつつ, 効率的な高速化を実現するため, マルチトークン生成設定においてさらなる優位性を提供することを示す。
  論文  参考訳（メタデータ） (2025-10-13T12:33:41Z)
• Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models [82.87985794856803]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにおいて最先端のパフォーマンスを達成した。 最近、Diffusion Language Models (DLM) が有望な代替アーキテクチャとして登場した。
  論文  参考訳（メタデータ） (2025-10-05T10:50:52Z)
• Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling [37.795834398730555]
  仮面拡散言語モデル (MDMs) は近年,自然言語生成フレームワークとして注目を集めている。 本稿では,MDMの復調過程において,より優れた候補生成の探索を支援する検証器ベースの推論時間スケーリング手法を提案する。 実験では,標準テキストスタイルの転送タスクへのMDMの適用を実証し,自動回帰言語モデルのより良い代替手段としてMDMを確立する。
  論文  参考訳（メタデータ） (2025-08-14T18:01:22Z)
• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• Discrete Diffusion in Large Language and Multimodal Models: A Survey [61.86669998363359]
  離散拡散言語モデル(dLLMs)と離散拡散多モード言語モデル(dMLLMs)の体系的調査を行う。 自己回帰(AR)モデルとは異なり、dLLMsとdMLLMsはマルチトークンの並列デコーディングパラダイムを採用しており、フルアテンションとデノナイジングに基づく生成戦略を採用している。 我々は、dLLMとdMLLMの歴史的発展を辿り、基礎となる数学的枠組みを定式化し、一般的なモデリング手法を列挙し、代表モデルを分類する。
  論文  参考訳（メタデータ） (2025-06-16T17:59:08Z)
• DLM-One: Diffusion Language Models for One-Step Sequence Generation [63.43422118066493]
  DLM-Oneは連続拡散言語モデルを用いた1ステップシーケンス生成のためのスコア蒸留ベースのフレームワークである。 DLM-Oneが言語モデリングにおけるサンプリング効率を大幅に向上できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-05-30T22:42:23Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• SSD-LM: Semi-autoregressive Simplex-based Diffusion Language Model for Text Generation and Modular Control [35.865188519566004]
  SSD-LMは2つの重要な設計上の選択肢を持つ拡散型言語モデルである。 半自己回帰的であり、反復的にテキストのブロックを生成し、復号時にフレキシブルな出力長を可能にする。 単純基であり、学習された潜在空間ではなく自然語彙空間上で拡散する。
  論文  参考訳（メタデータ） (2022-10-31T16:02:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。