論文の概要: Zero-Shot Conditioning of Score-Based Diffusion Models by Neuro-Symbolic Constraints
- arxiv url: http://arxiv.org/abs/2308.16534v2
- Date: Wed, 18 Sep 2024 13:06:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 23:57:01.043565
- Title: Zero-Shot Conditioning of Score-Based Diffusion Models by Neuro-Symbolic Constraints
- Title(参考訳): ニューロシンボリック制約によるスコアベース拡散モデルのゼロショット条件付け
- Authors: Davide Scassola, Sebastiano Saccani, Ginevra Carbone, Luca Bortolussi,
- Abstract要約: 本研究では,事前学習した無条件スコアベース生成モデルを用いて,任意の論理的制約の下で条件分布からサンプルを抽出する手法を提案する。
ユーザ定義制約の非正規化分布条件から標本化するために,学習したスコアの操作方法を示す。
ソフト論理制約を符号化するための柔軟で数値的に安定なニューロシンボリック・フレームワークを定義する。
- 参考スコア(独自算出の注目度): 1.1826485120701153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Score-based diffusion models have emerged as effective approaches for both conditional and unconditional generation. Still conditional generation is based on either a specific training of a conditional model or classifier guidance, which requires training a noise-dependent classifier, even when a classifier for uncorrupted data is given. We propose a method that, given a pre-trained unconditional score-based generative model, samples from the conditional distribution under arbitrary logical constraints, without requiring additional training. Differently from other zero-shot techniques, that rather aim at generating valid conditional samples, our method is designed for approximating the true conditional distribution. Firstly, we show how to manipulate the learned score in order to sample from an un-normalized distribution conditional on a user-defined constraint. Then, we define a flexible and numerically stable neuro-symbolic framework for encoding soft logical constraints. Combining these two ingredients we obtain a general, but approximate, conditional sampling algorithm. We further developed effective heuristics aimed at improving the approximation. Finally, we show the effectiveness of our approach in approximating conditional distributions for various types of constraints and data: tabular data, images and time series.
- Abstract(参考訳): スコアベース拡散モデルは条件生成と非条件生成の両方に有効なアプローチとして現れてきた。
条件付き生成は、条件付きモデルの特定の訓練または分類器ガイダンスに基づいており、これは、故障したデータの分類器が与えられた場合でも、ノイズ依存の分類器を訓練する必要がある。
本研究では,事前学習した無条件スコアベース生成モデルを用いて,任意の論理的制約の下で条件分布からサンプルを抽出する手法を提案する。
他のゼロショット法とは違い,本手法は実条件分布を近似するために設計されている。
まず,ユーザ定義制約の非正規化分布条件から標本化するために,学習したスコアの操作方法を示す。
次に,ソフト論理制約を符号化するための柔軟で数値的に安定なニューロシンボリック・フレームワークを定義する。
これら2つの成分を組み合わせることで、一般的な、しかし近似的な条件付きサンプリングアルゴリズムが得られる。
近似の改善を目的とした効果的なヒューリスティックスをさらに発展させた。
最後に,制約やデータの種類に応じて条件分布を近似する手法の有効性を示す。
関連論文リスト
- Absolute convergence and error thresholds in non-active adaptive
sampling [0.27624021966289597]
非アクティブ適応サンプリングは、トレーニングベースから機械学習モデルを構築する方法である。
絶対収束と誤差しきい値を計算するための提案について述べる。
テストは私たちの期待に応え、自然言語処理の領域における提案を説明する。
論文 参考訳(メタデータ) (2024-02-04T15:10:34Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳(メタデータ) (2023-12-06T20:58:07Z) - Leveraging Uncertainty Estimates To Improve Classifier Performance [4.4951754159063295]
バイナリ分類では、正のクラスのモデルスコアが、アプリケーション要求に基づいて選択されたしきい値を超えるかどうかに基づいて、インスタンスのラベルを予測する。
しかし、モデルスコアは真の肯定率と一致しないことが多い。
これは特に、クラス間の差分サンプリングを含むトレーニングや、トレインとテスト設定間の分散ドリフトがある場合に当てはまる。
論文 参考訳(メタデータ) (2023-11-20T12:40:25Z) - User-defined Event Sampling and Uncertainty Quantification in Diffusion
Models for Physical Dynamical Systems [49.75149094527068]
拡散モデルを用いて予測を行い,カオス力学系に対する不確かさの定量化が可能であることを示す。
本研究では,雑音レベルが低下するにつれて真の分布に収束する条件付きスコア関数の確率的近似法を開発する。
推論時に非線形ユーザ定義イベントを条件付きでサンプリングすることができ、分布の尾部からサンプリングした場合でもデータ統計と一致させることができる。
論文 参考訳(メタデータ) (2023-06-13T03:42:03Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳(メタデータ) (2023-05-17T17:47:19Z) - A Lagrangian Duality Approach to Active Learning [119.36233726867992]
トレーニングデータのサブセットのみをラベル付けするバッチアクティブな学習問題を考察する。
制約付き最適化を用いて学習問題を定式化し、各制約はラベル付きサンプルにモデルの性能を拘束する。
数値実験により,提案手法は最先端の能動学習法と同等かそれ以上に機能することを示した。
論文 参考訳(メタデータ) (2022-02-08T19:18:49Z) - Conditional Synthetic Data Generation for Robust Machine Learning
Applications with Limited Pandemic Data [11.535196994689501]
条件付き生成フローと条件付き合成データ生成のための分類器からなるハイブリッドモデルを提案する。
固定条件特徴表現を用いて局所雑音を操作することで合成データを生成する。
本手法は,定性および定量的性能の両方において,既存モデルよりも有意に優れていることを示す。
論文 参考訳(メタデータ) (2021-09-14T07:30:54Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳(メタデータ) (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。