論文の概要: Quasi-Conservative Score-based Generative Models
- arxiv url: http://arxiv.org/abs/2209.12753v1
- Date: Mon, 26 Sep 2022 15:00:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-27 15:05:23.117642
- Title: Quasi-Conservative Score-based Generative Models
- Title(参考訳): 準保守的スコアベース生成モデル
- Authors: Chen-Hao Chao, Wei-Fang Sun, Bo-Wun Cheng, Chun-Yi Lee
- Abstract要約: CSGMとUSGMの両方の利点を維持するために,準保守スコアベース生成モデル(QCSGM)を提案する。
我々の理論的導出は、QCSGMのトレーニング目的をトレーニングプロセスに効率的に組み込むことができることを示している。
- 参考スコア(独自算出の注目度): 15.121796988652461
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing Score-based Generative Models (SGMs) can be categorized into
constrained SGMs (CSGMs) or unconstrained SGMs (USGMs) according to their
parameterization approaches. CSGMs model the probability density functions as
Boltzmann distributions, and assign their predictions as the negative gradients
of some scalar-valued energy functions. On the other hand, USGMs employ
flexible architectures capable of directly estimating scores without the need
to explicitly model energy functions. In this paper, we demonstrate that the
architectural constraints of CSGMs may limit their score-matching ability. In
addition, we show that USGMs' inability to preserve the property of
conservativeness may lead to serious sampling inefficiency and degraded
sampling performance in practice. To address the above issues, we propose
Quasi-Conservative Score-based Generative Models (QCSGMs) for keeping the
advantages of both CSGMs and USGMs. Our theoretical derivations demonstrate
that the training objective of QCSGMs can be efficiently integrated into the
training processes by leveraging the Hutchinson trace estimator. In addition,
our experimental results on the Cifar-10, Cifar-100, ImageNet, and SVHN
datasets validate the effectiveness of QCSGMs. Finally, we justify the
advantage of QCSGMs using an example of a one-layered autoencoder.
- Abstract(参考訳): 既存のスコアベース生成モデル(SGM)は、パラメータ化アプローチに従って制約付きSGM(CSGM)または制約なしSGM(USGM)に分類される。
CSGMは確率密度関数をボルツマン分布としてモデル化し、それらの予測をスカラー値エネルギー関数の負勾配として割り当てる。
一方、USGMはエネルギー関数を明示的にモデル化することなくスコアを直接推定できる柔軟なアーキテクチャを採用している。
本稿では,CSGMのアーキテクチャ上の制約が,スコアマッチング能力を制限することを実証する。
さらに,USGMが保守性特性を維持できないことは,サンプリング効率の低下やサンプリング性能の低下につながる可能性が示唆された。
上記の課題に対処するため、CSGMとUSGMの両方の利点を維持するために、準保守スコアベース生成モデル(QCSGM)を提案する。
理論的導出は, ハッチンソントレース推定器を利用して, qcsgmsの訓練目標を効率的に訓練プロセスに統合できることを示す。
さらに、Cifar-10、Cifar-100、ImageNet、SVHNデータセットの実験結果により、QCSGMの有効性が検証された。
最後に、一層オートエンコーダの例を用いてQCSGMの利点を正当化する。
関連論文リスト
- EQ-CBM: A Probabilistic Concept Bottleneck with Energy-based Models and Quantized Vectors [4.481898130085069]
概念ボトルネックモデル(CBM)は、人間の理解可能な概念を活用して解釈可能性を高める効果的なアプローチとして注目されている。
既存のCBMは、決定論的概念の符号化と一貫性のない概念への依存によって問題に直面し、不正確な結果となった。
本稿では,確率論的概念エンコーディングによりCBMを強化する新しいフレームワークであるEQ-CBMを提案する。
論文 参考訳(メタデータ) (2024-09-22T23:43:45Z) - QKSAN: A Quantum Kernel Self-Attention Network [53.96779043113156]
量子カーネル法(Quantum Kernel Methods, QKM)のデータ表現能力とSAMの効率的な情報抽出能力を組み合わせた量子カーネル自己認識機構(Quantum Kernel Self-Attention Mechanism, QKSAM)を導入する。
量子カーネル自己保持ネットワーク(QKSAN)フレームワークは,DMP(Dederred Measurement Principle)と条件測定技術を巧みに組み込んだQKSAMに基づいて提案されている。
4つのQKSANサブモデルはPennyLaneとIBM Qiskitプラットフォームにデプロイされ、MNISTとFashion MNISTのバイナリ分類を実行する。
論文 参考訳(メタデータ) (2023-08-25T15:08:19Z) - Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。
モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。
BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
論文 参考訳(メタデータ) (2023-07-04T16:45:21Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Measuring the Driving Forces of Predictive Performance: Application to
Credit Scoring [0.0]
信用スコアでは、機械学習モデルは標準パラメトリックモデルを上回ることが知られている。
本稿では、モデルに関連するコントリビューションにパフォーマンスメトリックを分解するXPER手法を紹介する。
モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。
論文 参考訳(メタデータ) (2022-12-12T13:09:46Z) - I saw, I conceived, I concluded: Progressive Concepts as Bottlenecks [2.9398911304923447]
概念ボトルネックモデル(CBM)は、予測中間概念の修正による推論時の説明可能性と介入を提供する。
これにより、CBMは高い意思決定に魅力的なものとなる。
胎児超音波検査の品質評価を,医療におけるCBM意思決定支援の現実的ユースケースとして捉えた。
論文 参考訳(メタデータ) (2022-11-19T09:31:19Z) - Do Quantum Circuit Born Machines Generalize? [58.720142291102135]
本稿では,量子生成モデルの積分評価指標としてQCBMの一般化性能を示す文献で最初に紹介する。
そこで本研究では,QCBMがデータセットの再重み付けを効果的に学習し,未確認のサンプルをトレーニングセットよりも高い品質で生成可能であることを示す。
論文 参考訳(メタデータ) (2022-07-27T17:06:34Z) - EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual
Question Answering [53.40635559899501]
クリーンで多様なラベル付きデータは、視覚的質問応答(VQA)のような複雑なタスクのモデルをトレーニングするための主要な障害である
我々は、ラベルのない画像を利用してモデルを事前訓練するための自己教師付き手法をレビューし、評価し、それをカスタムVQAタスクで微調整する。
EBMもCLもラベルのない画像から表現を学習でき、非常に少ない注釈付きデータでVQAモデルをトレーニングできることがわかった。
論文 参考訳(メタデータ) (2022-06-29T01:44:23Z) - Your Autoregressive Generative Model Can be Better If You Treat It as an
Energy-Based One [83.5162421521224]
本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。
E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。
我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
論文 参考訳(メタデータ) (2022-06-26T10:58:41Z) - Post-hoc Concept Bottleneck Models [11.358495577593441]
概念ボトルネックモデル (Concept Bottleneck Models, CBM) は、入力を解釈可能な概念のセットにマッピングし、その概念を用いて予測を行う。
CBMは、ボトルネックを学ぶためにトレーニングデータに概念ラベルを必要とするため、実際には制限があり、強い事前訓練されたモデルを活用しない。
解釈可能性の利点を保ちながら、モデル性能を犠牲にすることなく、任意のニューラルネットワークをPCBMに変換することができることを示す。
論文 参考訳(メタデータ) (2022-05-31T00:29:26Z) - $\mathcal{F}$-EBM: Energy Based Learning of Functional Data [1.0896567381206714]
エネルギーベースモデル (EBMs) は有限次元空間上の密度をモデル化するための非常に効果的なアプローチであることが証明されている。
有限個の点で評価された関数サンプルから関数の分布を学習できる新しいEMMのクラスを提案する。
論文 参考訳(メタデータ) (2022-02-04T01:01:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。