論文の概要: Training and Inference on Any-Order Autoregressive Models the Right Way

• arxiv url: http://arxiv.org/abs/2205.13554v1
• Date: Thu, 26 May 2022 18:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 12:53:43.544303
• Title: Training and Inference on Any-Order Autoregressive Models the Right Way
• Title（参考訳）: 任意の順序自己回帰モデルによる正しい方法の訓練と推論
• Authors: Andy Shih, Dorsa Sadigh, Stefano Ermon
• Abstract要約: Any-Order Autoregressive Models (AO-ARMs) のファミリは、任意の条件付きタスクにおいてブレークスルーのパフォーマンスを示している。 我々は、AO-ARMの以前の定式化に対して行うべき重要な改善について確認する。 本手法はトラクタビリティを損なうことなく性能を向上する。
• 参考スコア（独自算出の注目度）: 97.39464776373902
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional inference on arbitrary subsets of variables is a core problem in probabilistic inference with important applications such as masked language modeling and image inpainting. In recent years, the family of Any-Order Autoregressive Models (AO-ARMs) -- which includes popular models such as XLNet -- has shown breakthrough performance in arbitrary conditional tasks across a sweeping range of domains. But, in spite of their success, in this paper we identify significant improvements to be made to previous formulations of AO-ARMs. First, we show that AO-ARMs suffer from redundancy in their probabilistic model, i.e., they define the same distribution in multiple different ways. We alleviate this redundancy by training on a smaller set of univariate conditionals that still maintains support for efficient arbitrary conditional inference. Second, we upweight the training loss for univariate conditionals that are evaluated more frequently during inference. Our method leads to improved performance with no compromises on tractability, giving state-of-the-art likelihoods in arbitrary conditional modeling on text (Text8), image (CIFAR10, ImageNet32), and continuous tabular data domains.
• Abstract（参考訳）: 変数の任意の部分集合に対する条件付き推論は、マスク付き言語モデリングや画像インパインティングといった重要な応用を伴う確率的推論の核となる問題である。 近年、XLNetのような人気モデルを含むAny-Order Autoregressive Models (AO-ARMs)のファミリーは、広範囲のドメインにわたる任意の条件タスクにおいて、ブレークスルーのパフォーマンスを示している。 しかし、その成功にもかかわらず、本稿では、以前のAO-ARMの定式化に際し、大幅な改善が認められる。 まず、AO-ARMは確率モデルにおいて冗長性に悩まされており、複数の異なる方法で同じ分布を定義する。 効率的な任意条件推論のサポートを維持しながら、より小さな不定条件セットでトレーニングすることで、この冗長性を軽減します。 第二に,単変量条件のトレーニング損失は,推論中により頻繁に評価される。 提案手法は,テキスト(Text8),画像(CIFAR10, ImageNet32),連続表データドメインの任意の条件付きモデリングにおいて,トラクタビリティを損なうことなく性能を向上させる。

関連論文リスト

• On conditional diffusion models for PDE simulations [53.01911265639582]
  スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。 本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。 また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-21T18:31:04Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness [86.61582747039053]
  分散環境での言語モデルトレーニングは、交換の通信コストによって制限される。 分散微調整を低帯域幅で行うために,共有ランダムネスを用いた最近の作業を拡張した。
  論文  参考訳（メタデータ） (2023-06-16T17:59:51Z)
• Maximum Likelihood on the Joint (Data, Condition) Distribution for Solving Ill-Posed Problems with Conditional Flow Models [0.0]
  所定のルールを用いてフローモデルをトレーニングするためのトリックを、最大限のサロゲートとして記述する。 これらの特性を、容易に視覚化された玩具問題に示し、その手法を用いて、クラス条件画像の生成に成功した。
  論文  参考訳（メタデータ） (2022-08-24T21:50:25Z)
• Are conditional GANs explicitly conditional? [0.0]
  本稿では,条件付きジェネレーティブ・アドバイザリ・ネットワーク(cGAN)に対する2つのコントリビューションを提案する。 最初の主な貢献は、cGANの分析であり、それらが明示的に条件付きでないことを示すものである。 第2のコントリビューションは、アコントラリオと呼ばれる新しい手法であり、敵アーキテクチャの両部分の条件性を明示的にモデル化する。
  論文  参考訳（メタデータ） (2021-06-28T22:49:27Z)
• Uncertainty-aware Generalized Adaptive CycleGAN [44.34422859532988]
  unpaired image-to-image translationは、教師なしの方法で画像ドメイン間のマッピングを学ぶことを指す。 既存の手法はしばしば、外れ値への堅牢性や予測不確実性を明示的にモデル化せずに決定論的マッピングを学習する。 Uncertainty-aware Generalized Adaptive Cycle Consistency (UGAC) という新しい確率論的手法を提案する。
  論文  参考訳（メタデータ） (2021-02-23T15:22:35Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Polynomial-Time Exact MAP Inference on Discrete Models with Global Dependencies [83.05591911173332]
  ジャンクションツリーアルゴリズムは、実行時の保証と正確なMAP推論のための最も一般的な解である。 本稿では,ノードのクローン化による新たなグラフ変換手法を提案する。
  論文  参考訳（メタデータ） (2019-12-27T13:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。