論文の概要: ShortListing Model: A Streamlined SimplexDiffusion for Discrete Variable Generation
- arxiv url: http://arxiv.org/abs/2508.17345v1
- Date: Sun, 24 Aug 2025 13:03:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 18:43:45.482906
- Title: ShortListing Model: A Streamlined SimplexDiffusion for Discrete Variable Generation
- Title（参考訳）: ShortListing Model:離散変数生成のための合理化された単純x拡散
- Authors: Yuxuan Song, Zhe Zhang, Yu Pei, Jingjing Gong, Qiying Yu, Zheng Zhang, Mingxuan Wang, Hao Zhou, Jingjing Liu, Wei-Ying Ma,
- Abstract要約: ショートリストモデル(英: Shortlisting Model, SLM)は、プログレッシブ候補プルーニング(英語版)にインスパイアされた、シンプルな拡散モデルである。
SLMは単純なセントロイドで動作し、生成の複雑さを低減し、拡張性を向上させる。
- 参考スコア（独自算出の注目度）: 47.20130201282587
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative modeling of discrete variables is challenging yet crucial for applications in natural language processing and biological sequence design. We introduce the Shortlisting Model (SLM), a novel simplex-based diffusion model inspired by progressive candidate pruning. SLM operates on simplex centroids, reducing generation complexity and enhancing scalability. Additionally, SLM incorporates a flexible implementation of classifier-free guidance, enhancing unconditional generation performance. Extensive experiments on DNA promoter and enhancer design, protein design, character-level and large-vocabulary language modeling demonstrate the competitive performance and strong potential of SLM. Our code can be found at https://github.com/GenSI-THUAIR/SLM
- Abstract（参考訳）: 離散変数の生成モデリングは、自然言語処理や生物学的シーケンス設計への応用において、依然として不可欠である。
提案手法は,プログレッシブ候補プルーニングにインスパイアされた,簡易な拡散モデルであるShortlisting Model (SLM)を導入する。
SLMは単純なセントロイドで動作し、生成の複雑さを低減し、拡張性を向上させる。
さらに、SLMは、非条件生成性能を向上させるために、分類器フリーガイダンスの柔軟な実装を取り入れている。
DNAプロモーターおよびエンハンサー設計、タンパク質設計、文字レベルおよび大語彙言語モデリングに関する広範な実験は、SLMの競争性能と強力なポテンシャルを示している。
私たちのコードはhttps://github.com/GenSI-THUAIR/SLMで確認できます。
関連論文リスト
- Insertion Based Sequence Generation with Learnable Order Dynamics [31.889457692631023]
本研究では, 数値シミュレーションを必要とせずに, 目標順序のダイナミックスとジェネレータの連成訓練が可能であることを示す。
生成的挿入モデルとして,マスクトークンの挿入と充填によって生成される可変長マスク拡散モデルを用いる。
学習順序のダイナミクスは、一様秩序のダイナミクスと比較して、有効な分子の数が増加し、品質が向上することがわかった。
論文 参考訳（メタデータ） (2026-02-21T02:53:55Z) - ThinkGen: Generalized Thinking for Visual Generation [97.19923474851987]
ThinkGenは、さまざまな世代のシナリオでChain-of-Thought(CoT)推論を明示的に活用する、思考駆動のビジュアル生成フレームワークである。
本稿では,MLLMとDiTモジュール間の強化学習を交互に行う,分離可能なGRPOベースのトレーニングパラダイムを提案する。
実験の結果、ThinkGenは複数の世代ベンチマークで堅牢で最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-29T16:08:50Z) - Unveiling the Potential of Diffusion Large Language Model in Controllable Generation [36.05635830551406]
最先端の自己回帰型大規模言語モデル(LLM)でさえ、構造化された出力を生成するために必要な場合、信頼性が低い。
現在の拡散型大規模言語モデル(dLLM)に触発されて、アーキテクチャ上の違いが次世代の制御可能生成をアンロックする鍵であることに気付いた。
本稿では,dLLMが安定して構造化された出力を生成できる新しいフレームワークであるSelf-Adaptive Scaffoldingを提案する。
論文 参考訳（メタデータ） (2025-07-06T18:41:34Z) - Flexible Language Modeling in Continuous Space with Transformer-based Autoregressive Flows [46.673228292287895]
本稿では,連続表現のモデル化にトランスフォーマーに基づく自己回帰正規化フローを用いた新しいフレームワークを提案する。
このアプローチは大きな柔軟性を解放し、グローバルな双方向コンテキストをキャプチャ可能なモデルの構築を可能にします。
離散データによって形成される潜在空間内の複雑な依存関係をキャプチャする混合結合変換を提案する。
論文 参考訳（メタデータ） (2025-07-01T04:51:25Z) - CALM: Co-evolution of Algorithms and Language Model for Automatic Heuristic Design [11.639825726501659]
大規模言語モデル(LLM)は、従来のコストのごく一部で自律的にハイパフォーマンスを発見できる。
本稿では,言語指導と数値指導を組み合わせたハイブリッドフレームワークを提案する。
本手法は,様々な最適化タスクにおいて,SOTA(State-of-the-art)ベースラインを上回っている。
論文 参考訳（メタデータ） (2025-05-18T07:48:47Z) - SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。
トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。
コードとモデルはリリースされます。
論文 参考訳（メタデータ） (2024-12-12T18:59:26Z) - Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。
因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
論文 参考訳（メタデータ） (2024-12-11T18:57:32Z) - Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models [59.60208063956459]
大規模言語モデル(LLM)は、効果的なアライメントのために高品質な命令データを必要とする。
本稿では,大規模かつ高品質な符号化命令を合成するスケーラブルなアルゴリズムであるGenematic-Instructを提案する。
論文 参考訳（メタデータ） (2024-07-29T20:42:59Z) - Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。
静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。
本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
論文 参考訳（メタデータ） (2024-07-08T17:09:39Z) - FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。
推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。
FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
論文 参考訳（メタデータ） (2023-10-15T19:37:39Z) - EasyGen: Easing Multimodal Generation with BiDiffuser and LLMs [26.462946557604177]
EasyGenは、拡散モデルと大言語モデル(LLM)の機能を活用することで、マルチモーダル理解と生成を強化するように設計されている。
Easygen は、BiDiffuser と LLM を連結する投影層を訓練し、LLM のテキスト空間と BiDiffuser のイメージ空間を整列させるアダプタを訓練することで、テキスト生成を実現する。
論文 参考訳（メタデータ） (2023-10-13T08:38:56Z) - Sparse Modular Activation for Efficient Sequence Modeling [94.11125833685583]
線形状態空間モデルと自己アテンション機構を組み合わせた最近のモデルでは、様々なシーケンスモデリングタスクにおいて顕著な結果が示されている。
現在のアプローチでは、アテンションモジュールを静的かつ均一に入力シーケンスのすべての要素に適用し、最適以下の品質効率のトレードオフをもたらす。
SMA(Sparse Modular Activation)は,ニューラルネットワークが配列要素のサブモジュールを異なる方法でスパースに活性化する機構である。
論文 参考訳（メタデータ） (2023-06-19T23:10:02Z) - Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。
拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。
本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
論文 参考訳（メタデータ） (2022-05-27T20:12:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。