論文の概要: Discrete Modeling via Boundary Conditional Diffusion Processes

• arxiv url: http://arxiv.org/abs/2410.22380v1
• Date: Tue, 29 Oct 2024 09:42:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:35.630566
• Title: Discrete Modeling via Boundary Conditional Diffusion Processes
• Title（参考訳）: 境界条件拡散過程による離散モデリング
• Authors: Yuxuan Gu, Xiaocheng Feng, Lei Huang, Yingsheng Wu, Zekun Zhou, Weihong Zhong, Kun Zhu, Bing Qin,
• Abstract要約: 従来のアプローチは、離散データと継続的モデリングの相違に悩まされてきた。 本稿では,まず境界を先行分布として推定する2段階の前進過程を提案する。 次に前方軌道を再スケールして境界条件拡散モデルを構築する。
• 参考スコア（独自算出の注目度）: 29.95155303262501
• License:
• Abstract: We present an novel framework for efficiently and effectively extending the powerful continuous diffusion processes to discrete modeling. Previous approaches have suffered from the discrepancy between discrete data and continuous modeling. Our study reveals that the absence of guidance from discrete boundaries in learning probability contours is one of the main reasons. To address this issue, we propose a two-step forward process that first estimates the boundary as a prior distribution and then rescales the forward trajectory to construct a boundary conditional diffusion model. The reverse process is proportionally adjusted to guarantee that the learned contours yield more precise discrete data. Experimental results indicate that our approach achieves strong performance in both language modeling and discrete image generation tasks. In language modeling, our approach surpasses previous state-of-the-art continuous diffusion language models in three translation tasks and a summarization task, while also demonstrating competitive performance compared to auto-regressive transformers. Moreover, our method achieves comparable results to continuous diffusion models when using discrete ordinal pixels and establishes a new state-of-the-art for categorical image generation on the Cifar-10 dataset.
• Abstract（参考訳）: 本稿では, 離散モデリングに強力な連続拡散過程を効率よく効果的に拡張するための新しい枠組みを提案する。 従来のアプローチは、離散データと継続的モデリングの相違に悩まされてきた。 本研究は,学習確率輪郭における離散的境界からのガイダンスの欠如が主な理由の一つであることを明らかにした。 この問題に対処するために、まず境界を先行分布として推定し、その後前方軌道を再スケールして境界条件拡散モデルを構築する2段階の前進過程を提案する。 逆過程は、学習した輪郭がより正確な離散データが得られることを保証するために比例的に調整される。 実験結果から,本手法は言語モデリングと離散画像生成の両タスクにおいて高い性能を達成できることが示唆された。 言語モデリングでは,従来の連続拡散言語モデルよりも3つの翻訳タスクと要約タスクを超越し,自動回帰変換器と比較して競合性能を示す。 さらに、離散順序画素を用いた連続拡散モデルに匹敵する結果が得られ、Cifar-10データセット上でのカテゴリ画像生成のための新たな最先端技術を確立する。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Discrete Diffusion Language Model for Long Text Summarization [19.267738861590487]
  本稿では,トランスフォーマーのバックボーンが長いシーケンスを効果的に扱えるような,セマンティック・アウェア・ノーミング・プロセスを提案する。 提案手法は,Gigaword,CNN/DailyMail,Arxivの3つのベンチマーク要約データセットに対して,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-06-25T09:55:22Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Convergence Analysis of Discrete Diffusion Model: Exact Implementation through Uniformization [17.535229185525353]
  連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。 我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-12T22:26:52Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• Diffusion Model for Dense Matching [34.13580888014]
  ペア画像間の密接な対応を確立する目的は、データ項と先行項の2つの項からなる。 我々はDiffMatchを提案する。DiffMatchは、データと事前条件の両方を明示的にモデル化する新しい条件付き拡散ベースのフレームワークである。 実験の結果,既存の手法に比べて,提案手法の大幅な性能向上が示された。
  論文  参考訳（メタデータ） (2023-05-30T14:58:24Z)
• Symbolic Music Generation with Diffusion Models [4.817429789586127]
  本論文では,前訓練された可変オートエンコーダの連続潜空間における離散領域をパラメータ化することにより,連続データに対する拡散モデルを訓練する手法を提案する。 同じ連続埋め込み上で動作する自己回帰型言語モデルと比較して,強い無条件生成とポストホック条件付インフィル結果を示す。
  論文  参考訳（メタデータ） (2021-03-30T05:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。