論文の概要: DiffLTM: Continuous Diffusions Large Tabular Models for Conditional Generation
- arxiv url: http://arxiv.org/abs/2610.30472v1
- Date: Wed, 21 Oct 2026 21:43:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.143086
- Title: DiffLTM: Continuous Diffusions Large Tabular Models for Conditional Generation
- Title(参考訳): DiffLTM: 条件生成のための大語彙モデルの連続拡散
- Abstract要約: 条件生成は、大きなタブラルモデルによってサポートされる重要な機能である。
本稿では,強い生成品質を持つ連続拡散モデルの設計を行う。
条件生成手法を一般化し,新しい条件付けを可能にする。
- 参考スコア(独自算出の注目度): 13.275368889759791
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conditional generation is a key capability to be supported by Large Tabular Models, enabling a number of applications. Accurate conditional generation has to contend with two key challenges: $(i)$ Data comprise a mixture of numerical and categorical entries, the latter often with high cardinality and heavily unbalanced proportions; $(ii)$ Conditional generation becomes increasingly difficult for rare sub-populations. The best models in this class use a hybrid of continuous and discrete diffusions. In this paper, we design a continuous diffusion model with strong generation quality. An important element is the use of cross-entropy loss for categoricals, for which we provide a first theoretical justification. We introduce metrics that focus on rare subpopulations. Further, we generalize conditional generation techniques to enable new types of conditioning. Finally, we show that our model (trained on labor data) can capture classical insights from econometrics. Code is available at https://github.com/granica-ai/DiffLTM
- Abstract(参考訳): 条件生成は、大規模タブラルモデルによってサポートされている重要な機能であり、多くのアプリケーションを可能にする。
正確な条件生成には2つの重要な課題がある。
(i)$データは数値とカテゴリーのエントリを混合したもので、後者は高い濃度と非常にバランスの取れない比率を持つことが多い。
(ii)稀なサブ集団では条件生成がますます困難になる。
このクラスの最良のモデルは連続拡散と離散拡散のハイブリッドを使用する。
本稿では,強い生成品質を持つ連続拡散モデルの設計を行う。
重要な要素は、カテゴリー論におけるクロスエントロピー損失の使用であり、これが最初の理論的正当化をもたらす。
希少なサブポピュレーションに焦点を当てたメトリクスを導入します。
さらに,条件生成手法を一般化し,新しい条件付けを可能にする。
最後に、我々のモデル(労働データに基づく)が、計量経済学から古典的な洞察を捉えることができることを示す。
コードはhttps://github.com/granica-ai/DiffLTMで入手できる。
関連論文リスト
- Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning [83.65494573724904]
我々は、限られたデータを持つ拡散モデルのための原則的MOLフレームワークを開発する。
限られたペアデータから,まず軽量なスペシャリストモデルに適合する2段階のトレーニング手順を提案する。
与えられたペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す境界一般化を確立する。
論文 参考訳(メタデータ) (2026-05-24T18:19:40Z) - Diverse capability and scaling of diffusion and auto-regressive models when learning abstract rules [4.710921988115686]
本稿では, 有限標本から基礎となるルールを学習し, 条件付きサンプリングにより推論を行うことができるかを検討する。
RavenのProgressive Matricesタスクにインスパイアされた私たちは、各サンプルが3行からなるGenRAVENデータセットを設計しました。
我々は、データ分散を学ぶために生成モデルを訓練し、そこでサンプルを整数配列としてエンコードしてルール学習に集中させた。
論文 参考訳(メタデータ) (2024-11-12T15:29:50Z) - TabEBM: A Tabular Data Augmentation Method with Distinct Class-Specific Energy-Based Models [10.88959673845634]
TabEBMはEnergy-Based Models (EBMs)を用いたクラス条件生成法である
実験の結果,TabEBMは既存の手法よりも高品質で統計的忠実度の高い合成データを生成することがわかった。
論文 参考訳(メタデータ) (2024-09-24T14:25:59Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2~3倍の高速化を実現した。
論文 参考訳(メタデータ) (2024-07-22T18:00:00Z) - Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。
提案手法は適応生成モデルを用いて画像のラベルを直接生成する。
Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
論文 参考訳(メタデータ) (2024-03-27T09:21:07Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Autoregressive Diffusion Models [34.125045462636386]
本稿では,次数に依存しない自己回帰モデルを含むモデルクラスであるAutoregressive Diffusion Models (ARDMs)を紹介する。
ARDMは実装が簡単で、訓練も容易であり、現代の確率的拡散モデルに似た効率的な目的を用いて訓練することができる。
我々は,ARDMが完全なデータセットだけでなく,単一のデータポイントの圧縮においても,説得力のある結果が得られることを示す。
論文 参考訳(メタデータ) (2021-10-05T13:36:55Z) - On the Generative Utility of Cyclic Conditionals [103.1624347008042]
2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。
本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-30T10:23:45Z) - Argmax Flows and Multinomial Diffusion: Towards Non-Autoregressive
Language Models [76.22217735434661]
本稿では,Argmax FlowsとMultinomial Diffusionの2種類の分類モデルを提案する。
画像分割マップの言語モデリングとモデリングにおいて,我々のモデルが競合的に機能することを実証する。
論文 参考訳(メタデータ) (2021-02-10T11:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。