論文の概要: The DEformer: An Order-Agnostic Distribution Estimating Transformer

• arxiv url: http://arxiv.org/abs/2106.06989v1
• Date: Sun, 13 Jun 2021 13:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:47:57.639735
• Title: The DEformer: An Order-Agnostic Distribution Estimating Transformer
• Title（参考訳）: 変形器:順序非依存分布推定トランス
• Authors: Michael A. Alcorn, Anh Nguyen
• Abstract要約: 順序に依存しない自己回帰分布推定(OADE)は、生成機械学習において難しい問題である。 本稿では,各特徴のアイデンティティを入力の値とともに含む特徴のアイデンティティを符号化する代替手法を提案する。 この入力に基づいてトレーニングされたトランスフォーマーは、二項化MNISTを効果的にモデル化し、固定順序自己回帰分布推定アルゴリズムの平均負の対数類似度にアプローチできることを示す。
• 参考スコア（独自算出の注目度）: 17.352818121007576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Order-agnostic autoregressive distribution estimation (OADE), i.e., autoregressive distribution estimation where the features can occur in an arbitrary order, is a challenging problem in generative machine learning. Prior work on OADE has encoded feature identity (e.g., pixel location) by assigning each feature to a distinct fixed position in an input vector. As a result, architectures built for these inputs must strategically mask either the input or model weights to learn the various conditional distributions necessary for inferring the full joint distribution of the dataset in an order-agnostic way. In this paper, we propose an alternative approach for encoding feature identities, where each feature's identity is included alongside its value in the input. This feature identity encoding strategy allows neural architectures designed for sequential data to be applied to the OADE task without modification. As a proof of concept, we show that a Transformer trained on this input (which we refer to as "the DEformer", i.e., the distribution estimating Transformer) can effectively model binarized-MNIST, approaching the average negative log-likelihood of fixed order autoregressive distribution estimating algorithms while still being entirely order-agnostic.
• Abstract（参考訳）: 順序に依存しない自己回帰分布推定(OADE)、すなわち任意の順序で特徴が生じる自己回帰分布推定は、生成機械学習において難しい問題である。 OADEの以前の作業では、各特徴を入力ベクトル内の特定の固定位置に割り当てることで、特徴識別(ピクセル位置など)を符号化していた。 結果として、これらの入力のために構築されたアーキテクチャは、入力重量またはモデル重量を戦略的にマスクして、データセットの完全な関節分布を順序に依存しない方法で推測するために必要な様々な条件分布を学習する必要がある。 本稿では,各特徴の同一性が入力にその値と共に含まれる特徴同一性を符号化する別の手法を提案する。 この特徴の同一性エンコーディング戦略により、シーケンシャルなデータを変更せずにoadeタスクに適用できるように設計されたニューラルアーキテクチャが実現される。 概念実証として、この入力に基づいて訓練されたトランスフォーマ("deformer"、すなわち分布推定トランスフォーマ)が、完全に順序非依存でありながら、固定順序自己回帰分布推定アルゴリズムの平均負のログ類似性に近づくことにより、バイナリ化mnistを効果的にモデル化できることを示す。

関連論文リスト

• Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior [5.862123282894087]
  ベクトル量子化変分オートエンコーダ(VQ-VAE)を導入する。 VQ-VAEは、離散埋め込みを潜時として使用する変分オートエンコーダの一種である。 GM-VQは,手工芸品に頼らずに,コードブックの利用率を向上し,情報損失を低減する。
  論文  参考訳（メタデータ） (2024-10-14T05:58:11Z)
• VeriFlow: Modeling Distributions for Neural Network Verification [4.3012765978447565]
  フォーマル検証は、ニューラルネットワークの安全性と信頼性を保証するための有望な方法として登場した。 本稿では,流れに基づく密度モデルとしてVeriFlowアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-20T12:41:39Z)
• Delta-AI: Local objectives for amortized inference in sparse graphical models [64.5938437823851]
  スパース確率的グラフィカルモデル(PGM)における補正推論のための新しいアルゴリズムを提案する。 提案手法は, PGMにおける変数のサンプリングをエージェントが行う一連の行動とみなす場合, エージェントのポリシー学習目的において, PGMの疎結合が局所的な信用割当を可能にするという観察に基づいている。 合成PGMからサンプリングし、スパース因子構造を持つ潜在変数モデルを訓練するための$Delta$-AIの有効性について説明する。
  論文  参考訳（メタデータ） (2023-10-03T20:37:03Z)
• Symmetric Equilibrium Learning of VAEs [56.56929742714685]
  可変オートエンコーダ(VAE)をデコーダ-エンコーダペアとみなし,データ空間内の分布を潜在空間内の分布にマッピングする。 本研究では,エンコーダとデコーダに対して対称なナッシュ均衡学習手法を提案し,データと潜伏分布の両方がサンプリングによってのみアクセス可能な状況下でのVAEの学習を可能にする。
  論文  参考訳（メタデータ） (2023-07-19T10:27:34Z)
• A Simple Strategy to Provable Invariance via Orbit Mapping [14.127786615513978]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変にする方法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。
  論文  参考訳（メタデータ） (2022-09-24T03:40:42Z)
• Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
  本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。 変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T22:03:50Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)
• Probabilistic Kolmogorov-Arnold Network [1.4732811715354455]
  本稿では,アレータティック不確実性の場合に出力の確率分布を推定する手法を提案する。 提案手法は, 出力の入力依存確率分布と, 入力による分布型の変化を対象とする。 本手法は任意の回帰モデルに適用できるが, 計算効率のよいモデルの構築につながるため,kansと組み合わせる。
  論文  参考訳（メタデータ） (2021-04-04T23:49:15Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Implicit Distributional Reinforcement Learning [61.166030238490634]
  2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。 我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
  論文  参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。