論文の概要: Diffusion Large Language Models for Black-Box Optimization

• arxiv url: http://arxiv.org/abs/2601.14446v1
• Date: Tue, 20 Jan 2026 19:59:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.141995
• Title: Diffusion Large Language Models for Black-Box Optimization
• Title（参考訳）: ブラックボックス最適化のための拡散大言語モデル
• Authors: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu,
• Abstract要約: オフラインのブラックボックス最適化は、デザインとそのラベルのオフラインデータセットのみに基づく最適な設計を見つけることを目的としている。 従来の手法はタスク固有のプロキシや生成モデルに依存しており、事前訓練された大規模言語モデル(LLM)のコンテキスト内学習能力を見越している。
• 参考スコア（独自算出の注目度）: 39.443620489103985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline black-box optimization (BBO) aims to find optimal designs based solely on an offline dataset of designs and their labels. Such scenarios frequently arise in domains like DNA sequence design and robotics, where only a few labeled data points are available. Traditional methods typically rely on task-specific proxy or generative models, overlooking the in-context learning capabilities of pre-trained large language models (LLMs). Recent efforts have adapted autoregressive LLMs to BBO by framing task descriptions and offline datasets as natural language prompts, enabling direct design generation. However, these designs often contain bidirectional dependencies, which left-to-right models struggle to capture. In this paper, we explore diffusion LLMs for BBO, leveraging their bidirectional modeling and iterative refinement capabilities. This motivates our in-context denoising module: we condition the diffusion LLM on the task description and the offline dataset, both formatted in natural language, and prompt it to denoise masked designs into improved candidates. To guide the generation toward high-performing designs, we introduce masked diffusion tree search, which casts the denoising process as a step-wise Monte Carlo Tree Search that dynamically balances exploration and exploitation. Each node represents a partially masked design, each denoising step is an action, and candidates are evaluated via expected improvement under a Gaussian Process trained on the offline dataset. Our method, dLLM, achieves state-of-the-art results in few-shot settings on design-bench.
• Abstract（参考訳）: オフラインのブラックボックス最適化(BBO)は、デザインとそのラベルのオフラインデータセットのみに基づく最適な設計を見つけることを目的としている。 このようなシナリオはDNAシークエンス設計やロボティクスといったドメインで頻繁に発生し、ラベル付きデータポイントはわずかである。 従来の手法は一般にタスク固有のプロキシや生成モデルに依存しており、事前訓練された大規模言語モデル(LLM)のコンテキスト内学習能力を見渡せる。 近年の取り組みは、タスク記述とオフラインデータセットを自然言語のプロンプトとしてフレーミングすることで、自動回帰LDMをBBOに適応させ、直接設計生成を可能にしている。 しかしながら、これらのデザインはしばしば双方向の依存関係を含んでおり、左から右へのモデルは捕捉に苦慮している。 本稿では, BBO の拡散 LLM について検討し, 双方向モデリングと反復改良機能を活用して検討する。 タスク記述とオフラインデータセットに拡散 LLM を条件付けます。どちらも自然言語でフォーマットされています。 提案手法は,探索と利用を動的にバランスするモンテカルロ木探索をステップワイドなモンテカルロ木探索として用いたマスク付き拡散木探索法である。 各ノードは部分的にマスクされた設計を表し、各デノベーションステップはアクションであり、候補はオフラインデータセットでトレーニングされたガウスプロセスの下で期待された改善によって評価される。 提案手法であるdLLMは,設計ベンチ上の数ショット設定において,最先端の結果を達成している。

関連論文リスト

• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• A Survey on Diffusion Language Models [30.00199970146068]
  拡散言語モデル(DLM)は、支配的な自己回帰(AR)パラダイムの代替である。 DLMは、推論遅延を減らし、双方向のコンテキストをキャプチャすることに固有の利点がある。 近年の進歩により、DLMは自己回帰に匹敵する性能を示すようになった。
  論文  参考訳（メタデータ） (2025-08-14T17:47:22Z)
• DRUM: Learning Demonstration Retriever for Large MUlti-modal Models [10.884258583493175]
  大規模マンダーリヌル型アンダーラインモデル(DRUM)のための新しい枠組みであるアンダーラインエミュレーションアンダーラインレトリバーを提案する。 まず、埋め込みモデルが与えられると仮定して、視覚言語タスクの検索戦略について議論し、画像とテキストの埋め込みを結合して検索性能を向上させることを提案する。 第2に、LVLMのフィードバックを介して、埋め込みモデルにより検索されたデモを再度ランク付けし、トレーニングのためのリストワイドランキングの損失を計算することを提案する。
  論文  参考訳（メタデータ） (2024-12-10T15:56:12Z)
• Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback [52.763620660061115]
  ONIは、RLポリシーと本質的な報酬関数を同時に学習する分散アーキテクチャである。 我々は、様々な複雑さを持つ報酬モデリングのためのアルゴリズムの選択範囲を探索する。 提案手法は,NetHack Learning Environment の様々な課題にまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-10-30T13:52:43Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。