論文の概要: DiSK: A Diffusion Model for Structured Knowledge
- arxiv url: http://arxiv.org/abs/2312.05253v2
- Date: Wed, 7 Feb 2024 18:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-08 19:36:56.456412
- Title: DiSK: A Diffusion Model for Structured Knowledge
- Title（参考訳）: DiSK:構造化知識の拡散モデル
- Authors: Ouail Kitouni, Niklas Nolte, James Hensman, Bhaskar Mitra
- Abstract要約: Diffusion Models of Structured Knowledge (DiSK) は構造化データに特化した新しいアーキテクチャとトレーニング手法である。
DiSKはガウス混合モデルアプローチを用いてテキスト、分類、連続的な数値データを処理する。
- 参考スコア（独自算出の注目度）: 12.472921856815942
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured (dictionary-like) data presents challenges for left-to-right
language models, as they can struggle with structured entities for a wide
variety of reasons such as formatting and sensitivity to the order in which
attributes are presented. Tabular generative models suffer from a different set
of limitations such as their lack of flexibility. We introduce Diffusion Models
of Structured Knowledge (DiSK) - a new architecture and training approach
specialized for structured data. DiSK handles text, categorical, and continuous
numerical data using a Gaussian mixture model approach, which allows for
improved precision when dealing with numbers. It employs diffusion training to
model relationships between properties. Experiments demonstrate DiSK's
state-of-the-art performance on tabular data modeling, synthesis, and
imputation on over 15 datasets across diverse domains. DiSK provides an
effective inductive bias for generative modeling and manipulation of structured
data. The techniques we propose could open the door to improved knowledge
manipulation in future language models.
- Abstract（参考訳）: 構造化された(辞書のような)データは、属性が提示される順序に対する形式化や感度など、さまざまな理由で構造化されたエンティティと戦うことができるため、左から右への言語モデルの課題を示す。
タブラル生成モデルは、柔軟性の欠如など、異なる制約のセットに悩まされる。
構造化知識の拡散モデル(disk) - 構造化データに特化した新しいアーキテクチャとトレーニングアプローチを提案する。
DiSKはガウス混合モデルアプローチを用いてテキスト、分類、連続的な数値データを処理し、数値を扱う際の精度を向上させる。
拡散訓練を用いて特性間の関係をモデル化する。
実験では、さまざまなドメインにまたがる15以上のデータセットに対して、グラフデータモデリング、合成、計算に関するDiSKの最先端のパフォーマンスを示す。
DiSKは、構造化データの生成モデリングと操作に有効な誘導バイアスを提供する。
提案する手法は、将来の言語モデルにおける知識操作の改善への扉を開く可能性がある。
関連論文リスト
- An improved tabular data generator with VAE-GMM integration [9.4491536689161]
本稿では,現在のアプローチの限界に対処する新しい変分オートエンコーダ(VAE)モデルを提案する。
本手法は,TVAEモデルにインスパイアされたベイジアン・ガウス混合モデル(BGM)をVAEアーキテクチャに組み込む。
我々は,2つの医療関連データセットを含む混合データ型を持つ実世界の3つのデータセットに対して,我々のモデルを徹底的に検証する。
論文 参考訳（メタデータ） (2024-04-12T12:31:06Z) - On Linearizing Structured Data in Encoder-Decoder Language Models: Insights from Text-to-SQL [8.57550491437633]
本研究では,エンコーダ-デコーダ言語モデル,特にT5における構造化データの線形処理について検討する。
この結果から,スキーマリンクや構文予測など,人間設計プロセスの模倣が可能であることが判明した。
また、構造ノードエンコーディングのエゴ中心の性質を含む、モデルの内部メカニズムに関する洞察を明らかにした。
論文 参考訳（メタデータ） (2024-04-03T01:16:20Z) - Unbiased Learning of Deep Generative Models with Structured Discrete
Representations [7.9057320008285945]
構造化可変オートエンコーダ(SVAE)の学習のための新しいアルゴリズムを提案する。
我々はSVAEがデータの欠落時に個別の潜伏変数を組み込むことでマルチモーダル不確実性を扱う能力を初めて示す。
メモリ効率の高い暗黙差分法により,SVAEは不完全最適化に対して頑健さを示しつつ,勾配降下により学習しやすくなった。
論文 参考訳（メタデータ） (2023-06-14T03:59:21Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Language Model Cascades [72.18809575261498]
テスト時に1つのモデルで繰り返し対話する、あるいは複数のモデルの合成は、さらに機能を拡張する。
制御フローと動的構造を持つ場合、確率的プログラミングのテクニックが必要となる。
この観点から、スクラッチパッド/思考連鎖、検証器、STaR、選択推論、ツール利用など、いくつかの既存のテクニックを定式化します。
論文 参考訳（メタデータ） (2022-07-21T07:35:18Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - Compositionality as Lexical Symmetry [42.37422271002712]
意味解析、命令追従、質問応答といったタスクでは、標準的なディープネットワークは小さなデータセットから合成的に一般化できない。
本稿では、モデルよりもデータ分布の対称性の制約として、構成性のドメイン一般およびモデル非依存の定式化を提案する。
LEXSYMと呼ばれる手法は,これらの変換を自動的に検出し,通常のニューラルシーケンスモデルのトレーニングデータに適用する。
論文 参考訳（メタデータ） (2022-01-30T21:44:46Z) - Improving Compositional Generalization with Self-Training for
Data-to-Text Generation [36.973617793800315]
データ・テキスト・タスクにおける現在の生成モデルの合成一般化について検討する。
構成的気象データセットの構造変化をシミュレートすることにより、T5モデルは目に見えない構造に一般化できないことを示す。
擬似応答選択のための細調整BLEURTを用いた自己学習に基づく手法を提案する。
論文 参考訳（メタデータ） (2021-10-16T04:26:56Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。