論文の概要: Tractable Transformers for Flexible Conditional Generation

• arxiv url: http://arxiv.org/abs/2502.07616v1
• Date: Tue, 11 Feb 2025 15:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:09:58.058916
• Title: Tractable Transformers for Flexible Conditional Generation
• Title（参考訳）: フレキシブルコンディショナリ生成のためのトラクタブルトランス
• Authors: Anji Liu, Xuejie Liu, Dayuan Zhao, Mathias Niepert, Yitao Liang, Guy Van den Broeck,
• Abstract要約: Tractable Transformer (Tracformer) は、異なる条件生成タスクに対してより堅牢なTransformerベースの生成モデルである。 本稿では,異なる条件生成タスクに対してより堅牢なトランスフォーマーベース生成モデルであるTractable Transformersを提案する。
• 参考スコア（独自算出の注目度）: 44.52426555357705
• License:
• Abstract: Non-autoregressive (NAR) generative models are valuable because they can handle diverse conditional generation tasks in a more principled way than their autoregressive (AR) counterparts, which are constrained by sequential dependency requirements. Recent advancements in NAR models, such as diffusion language models, have demonstrated superior performance in unconditional generation compared to AR models (e.g., GPTs) of similar sizes. However, such improvements do not always lead to improved conditional generation performance. We show that a key reason for this gap is the difficulty in generalizing to conditional probability queries unseen during training. As a result, strong unconditional generation performance does not guarantee high-quality conditional generation. This paper proposes Tractable Transformers (Tracformer), a Transformer-based generative model that is more robust to different conditional generation tasks. Unlike existing models that rely solely on global contextual features derived from full inputs, Tracformers incorporate a sparse Transformer encoder to capture both local and global contextual information. This information is routed through a decoder for conditional generation. Empirical results demonstrate that Tracformers achieve state-of-the-art conditional generation performance on text modeling compared to recent diffusion and AR model baselines.
• Abstract（参考訳）: 非自己回帰(NAR)生成モデルは、逐次依存要求に制約される自己回帰(AR)モデルよりも、より原理的な方法で多様な条件生成タスクを処理できるので、価値がある。 拡散言語モデルのような最近のNARモデルの進歩は、同様の大きさのARモデル(例えばGPT)と比較して、非条件生成において優れた性能を示している。 しかし、このような改善が条件生成性能の改善につながるとは限らない。 このギャップの主な理由は、訓練中に見つからない条件付き確率クエリを一般化することの難しさである。 その結果、強い非条件生成性能は高品質な条件生成を保証しない。 本稿では,異なる条件生成タスクに対してより堅牢なトランスフォーマーベース生成モデルであるTracformerを提案する。 完全な入力から派生したグローバルコンテキスト機能のみに依存する既存のモデルとは異なり、Tracformersはスパーストランスフォーマーエンコーダを内蔵し、ローカルおよびグローバルコンテキスト情報の両方をキャプチャする。 この情報は、条件生成のためのデコーダを介してルーティングされる。 実験により,最近の拡散やARモデルベースラインと比較して,テキストモデル上での最先端条件生成性能が得られた。

関連論文リスト

• Adaptively Controllable Diffusion Model for Efficient Conditional Image Generation [8.857237929151795]
  本稿では,新たな適応フレームワークである$textitAdaptively Controllable Diffusion (AC-Diff) Model$を提案する。 AC-Diffは、文学拡散モデルと同じ性能を維持しつつ、平均生成ステップ数と実行時間を大幅に削減することが期待されている。
  論文  参考訳（メタデータ） (2024-11-19T21:26:30Z)
• Conditional [MASK] Discrete Diffusion Language Model [14.208510167132983]
  Diffusion-EAGSは、条件付きマスキング言語モデルと拡散言語モデルを統合するフレームワークである。 本研究では,Diffusion-EAGSが最高の品質・多様性のトレードオフを実現し,非自己回帰テキスト生成の有効性を示す。
  論文  参考訳（メタデータ） (2024-11-10T11:49:36Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Conditional Generation with a Question-Answering Blueprint [84.95981645040281]
  我々は、条件生成を不透明にし、より根底的にレンダリングするための有用な中間表現としてのプランニングを提唱する。 我々は、最先端の質問生成技術を利用して、自動的に青写真を得る。 我々はTransformerベースのモデルを開発し、それぞれが生成した出力にブループリントを組み込む方法が異なる。
  論文  参考訳（メタデータ） (2022-07-01T13:10:19Z)
• Regression Transformer: Concurrent Conditional Generation and Regression by Blending Numerical and Textual Tokens [3.421506449201873]
  Regression Transformer (RT)は、数値トークンのシーケンスとして連続プロパティをキャストし、それらを従来のトークンと共同でエンコードする。 我々はXLNetの目的に対するいくつかの拡張を提案し、プロパティ予測と条件テキスト生成を同時に最適化する交互トレーニングスキームを採用する。 このことは、特にプロパティ駆動で、化学またはタンパク質空間の局所的な探索に応用される。
  論文  参考訳（メタデータ） (2022-02-01T08:57:31Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• Non-autoregressive Transformer-based End-to-end ASR using BERT [13.07939371864781]
  本稿では、BERTに基づく変換器に基づくエンドツーエンド自動音声認識(ASR)モデルを提案する。 AISHELL-1データセットで実施された一連の実験は、競争力または優れた結果を示している。
  論文  参考訳（メタデータ） (2021-04-10T16:22:17Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。