論文の概要: Probabilistic and Semantic Descriptions of Image Manifolds and Their Applications

• arxiv url: http://arxiv.org/abs/2307.02881v4
• Date: Sun, 22 Oct 2023 23:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 08:21:02.032459
• Title: Probabilistic and Semantic Descriptions of Image Manifolds and Their Applications
• Title（参考訳）: 画像多様体の確率的・意味的記述とその応用
• Authors: Peter Tu, Zhaoyuan Yang, Richard Hartley, Zhiwei Xu, Jing Zhang, Yiwei Fu, Dylan Campbell, Jaskirat Singh, Tianyu Wang
• Abstract要約: 画像は高次元空間の低次元多様体上にあると言うのが一般的である。 画像は多様体上に不均一に分布し、この分布を確率分布としてモデル化する方法を考案する。 多様体上の点を記述するために意味論的解釈がどのように用いられるかを示す。
• 参考スコア（独自算出の注目度）: 28.554065677506966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper begins with a description of methods for estimating image probability density functions that reflects the observation that such data is usually constrained to lie in restricted regions of the high-dimensional image space-not every pattern of pixels is an image. It is common to say that images lie on a lower-dimensional manifold in the high-dimensional space. However, it is not the case that all points on the manifold have an equal probability of being images. Images are unevenly distributed on the manifold, and our task is to devise ways to model this distribution as a probability distribution. We therefore consider popular generative models. For our purposes, generative/probabilistic models should have the properties of 1) sample generation: the possibility to sample from this distribution with the modelled density function, and 2) probability computation: given a previously unseen sample from the dataset of interest, one should be able to compute its probability, at least up to a normalising constant. To this end, we investigate the use of methods such as normalising flow and diffusion models. We then show how semantic interpretations are used to describe points on the manifold. To achieve this, we consider an emergent language framework that uses variational encoders for a disentangled representation of points that reside on a given manifold. Trajectories between points on a manifold can then be described as evolving semantic descriptions. We also show that such probabilistic descriptions (bounded) can be used to improve semantic consistency by constructing defences against adversarial attacks. We evaluate our methods with improved semantic robustness and OoD detection capability, explainable and editable semantic interpolation, and improved classification accuracy under patch attacks. We also discuss the limitation in diffusion models.
• Abstract（参考訳）: 本論文は,高次元画像空間の制限領域に通常そのようなデータが配置されるという観察を反映した画像確率密度関数を推定する手法の説明から始まる。 画像は高次元空間の低次元多様体上にあると言うのが一般的である。 しかし、多様体上のすべての点が像である確率が等しいというわけではない。 画像は多様体上に不均一に分布し、この分布を確率分布としてモデル化する方法を考案する。 したがって、一般的な生成モデルを考える。 我々の目的のために、生成的・確率的モデルは性質を持つべきである 1)サンプル生成:この分布からモデル密度関数で試料を採取する可能性、及び 2) 確率計算: 興味のあるデータセットから以前に見つからなかったサンプルが与えられた場合、少なくとも正規化定数までその確率を計算することができる。 そこで本研究では,流れの正規化や拡散モデルなどの手法について検討する。 次に、多様体上の点を記述するために意味解釈がどのように使われるかを示す。 これを実現するために、与えられた多様体上に存在する点の不等角表現に変分エンコーダを用いる創発的言語フレームワークを考える。 多様体上の点間の軌跡は、進化する意味的記述として記述することができる。 また、このような確率的記述(有界)は、敵攻撃に対する防御を構築することによって意味的一貫性を向上させることができることを示す。 提案手法は,semantic robustnessおよびood detection機能の改善,説明可能かつ編集可能なセマンティック補間,パッチ攻撃時の分類精度の向上により評価した。 また拡散モデルの制限についても論じる。

関連論文リスト

• Diffusion on the Probability Simplex [24.115365081118604]
  拡散モデルは、データ分布のプログレッシブノイズ化を逆転させ、生成モデルを作成する。 本稿では,確率単純度上で拡散を行う手法を提案する。 本手法は,有界画像生成に適用可能な単位立方体上の拡散を含むように自然に拡張されている。
  論文  参考訳（メタデータ） (2023-09-05T18:52:35Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Your Diffusion Model is Secretly a Zero-Shot Classifier [90.40799216880342]
  大規模テキスト・画像拡散モデルからの密度推定をゼロショット分類に活用できることを示す。 分類に対する我々の生成的アプローチは、様々なベンチマークで強い結果が得られる。 我々の結果は、下流タスクにおける差別的モデルよりも生成的な利用に向けての一歩である。
  論文  参考訳（メタデータ） (2023-03-28T17:59:56Z)
• Bayesian Deep Learning for Affordance Segmentation in images [3.15834651147911]
  本稿では,画像の空き地を検出するための新しいベイズディープネットワークを提案する。 空間レベルでの動脈およびてんかんの分布を定量化する。 その結果,決定論的ネットワークの最先端性が向上した。
  論文  参考訳（メタデータ） (2023-03-02T00:01:13Z)
• Diffusion Probabilistic Fields [42.428882785136295]
  距離空間上で定義された連続関数上の分布を学習する拡散モデルである拡散確率場(DPF)を導入する。 我々は,非ユークリッド距離空間上で定義されたフィールド上の分布のモデル化に加えて,DPFが2次元画像や3次元幾何学などの異なるモダリティを効果的に扱うことを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-01T01:37:24Z)
• Bi-Noising Diffusion: Towards Conditional Diffusion Models with Generative Restoration Priors [64.24948495708337]
  本研究では,事前訓練した非条件拡散モデルを用いて,予測サンプルをトレーニングデータ多様体に導入する手法を提案する。 我々は,超解像,着色,乱流除去,画像劣化作業におけるアプローチの有効性を実証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-12-14T17:26:35Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Sampling Based On Natural Image Statistics Improves Local Surrogate Explainers [111.31448606885672]
  代理説明器は、モデルが予測にどのように到着するかをさらに理解するために、ポストホック解釈法として人気がある。 そこで本研究では,(1)局所領域のサンプリング方法を変更すること,(2)自然画像の分布特性を知覚的指標を用いて伝達すること,の2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-08-08T08:10:13Z)
• Joint Estimation of Image Representations and their Lie Invariants [57.3768308075675]
  画像は世界の状態とコンテンツの両方をエンコードする。 この情報の自動抽出は、画像表現に固有の高次元かつ絡み合った符号化のために困難である。 本稿では,これらの課題の解決を目的とした2つの理論的アプローチを紹介する。
  論文  参考訳（メタデータ） (2020-12-05T00:07:41Z)
• CQ-VAE: Coordinate Quantized VAE for Uncertainty Estimation with Application to Disk Shape Analysis from Lumbar Spine MRI Images [1.5841288368322592]
  本稿では,あいまいさの表現を学習し,確率的出力を生成するための強力な生成モデルを提案する。 我々のモデルは、CQ-VAE (Coordinate Quantization Variational Autoencoder) と呼ばれ、内部の離散確率分布を持つ離散潜在空間を用いている。 マッチングアルゴリズムを用いて、モデル生成サンプルと「地下構造」サンプルの対応性を確立する。
  論文  参考訳（メタデータ） (2020-10-17T04:25:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。