論文の概要: AdaCat: Adaptive Categorical Discretization for Autoregressive Models

• arxiv url: http://arxiv.org/abs/2208.02246v1
• Date: Wed, 3 Aug 2022 17:53:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-04 13:03:34.964532
• Title: AdaCat: Adaptive Categorical Discretization for Autoregressive Models
• Title（参考訳）: adacat:自己回帰モデルに対する適応的カテゴリー判別
• Authors: Qiyang Li, Ajay Jain, Pieter Abbeel
• Abstract要約: AdaCat(Adaptive Categorical Discretization)と呼ばれる,効率的で表現性の高いマルチモーダルパラメータ化を提案する。 AdaCatは自己回帰モデルの各次元を適応的に識別し、モデルが関心の細かい間隔に密度を割り当てることを可能にする。
• 参考スコア（独自算出の注目度）: 84.85102013917606
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive generative models can estimate complex continuous data distributions, like trajectory rollouts in an RL environment, image intensities, and audio. Most state-of-the-art models discretize continuous data into several bins and use categorical distributions over the bins to approximate the continuous data distribution. The advantage is that the categorical distribution can easily express multiple modes and are straightforward to optimize. However, such approximation cannot express sharp changes in density without using significantly more bins, making it parameter inefficient. We propose an efficient, expressive, multimodal parameterization called Adaptive Categorical Discretization (AdaCat). AdaCat discretizes each dimension of an autoregressive model adaptively, which allows the model to allocate density to fine intervals of interest, improving parameter efficiency. AdaCat generalizes both categoricals and quantile-based regression. AdaCat is a simple add-on to any discretization-based distribution estimator. In experiments, AdaCat improves density estimation for real-world tabular data, images, audio, and trajectories, and improves planning in model-based offline RL.
• Abstract（参考訳）: 自己回帰生成モデルは、RL環境における軌跡ロールアウト、画像強度、オーディオなどの複雑な連続データ分布を推定することができる。 ほとんどの最先端モデルは、連続データを複数のビンに識別し、連続データ分布を近似するためにビン上のカテゴリ分布を使用する。 利点は、カテゴリ分布が容易に複数のモードを表現でき、簡単に最適化できることである。 しかし、このような近似は、非常に多くのビンを用いることなく、密度の鋭い変化を表現できないため、パラメータが非効率である。 本稿では,適応カテゴリー離散化(AdaCat)と呼ばれる,効率的で表現性の高いマルチモーダルパラメータ化を提案する。 AdaCatは自己回帰モデルの各次元を適応的に識別し、モデルが関心の細かい間隔に密度を割り当て、パラメータ効率を向上させる。 AdaCatはカテゴリと量子化に基づく回帰の両方を一般化する。 AdaCatは、任意の離散化ベースの分布推定器への単純なアドオンである。 実験では、AdaCatは実世界の表データ、画像、オーディオ、軌跡の密度推定を改善し、モデルベースオフラインRLの計画を改善する。

関連論文リスト

• TabDiff: a Multi-Modal Diffusion Model for Tabular Data Generation [91.50296404732902]
  1つのモデルで表データのマルチモーダル分布をモデル化する共同拡散フレームワークであるTabDiffを紹介する。 我々の重要な革新は、数値データと分類データのための連立連続時間拡散プロセスの開発である。 TabDiffは、既存の競合ベースラインよりも優れた平均性能を実現し、ペアワイドカラム相関推定における最先端モデルよりも最大で22.5%改善されている。
  論文  参考訳（メタデータ） (2024-10-27T22:58:47Z)
• Learning Interpretable Rules for Scalable Data Representation and Classification [11.393431987232425]
  ルールベースのLearner Representation (RRL)は、データ表現と分類のための解釈可能な非ファジィ規則を学習する。 RRLは容易に調整でき、異なるシナリオの分類精度とモデルの複雑さのトレードオフを得ることができる。
  論文  参考訳（メタデータ） (2023-10-22T15:55:58Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Continuously Generalized Ordinal Regression for Linear and Deep Models [41.03778663275373]
  正規回帰は、クラスが順序を持ち、予測エラーが予測されたクラスが真のクラスからさらに大きくなるような分類タスクである。 本稿では,クラス固有の超平面斜面をモデル化するための新しい手法を提案する。 本手法は,順序回帰ベンチマークデータセットの完全セットに対して,標準順序ロジスティックモデルよりも大幅に優れる。
  論文  参考訳（メタデータ） (2022-02-14T19:49:05Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• Scalable Rule-Based Representation Learning for Interpretable Classification [12.736847587988853]
  ルールベースのLearner Representation (RRL)は、データ表現と分類のための解釈可能な非ファジィ規則を学習する。 RRLは容易に調整でき、異なるシナリオの分類精度とモデルの複雑さのトレードオフを得ることができる。
  論文  参考訳（メタデータ） (2021-09-30T13:07:42Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• Modelling High-Dimensional Categorical Data Using Nonconvex Fusion Penalties [7.262048441360131]
  SCOPEと呼ばれる我々の推定器は、対応する係数を正確に等しくすることで、レベルを融合する。 変数の非次元ブロック内での正確かつ効率的なクラスタリングのためのアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2020-02-28T09:20:41Z)
• CatBoostLSS -- An extension of CatBoost to probabilistic forecasting [91.3755431537592]
  本稿では,不可変応答変数の条件分布全体を予測する新しいフレームワークを提案する。 CatBoostLSSは条件平均のみではなくパラメトリック分布のすべてのモーメントをモデル化する。 提案手法の利点を実証するシミュレーション研究と実世界の実例を共に提示する。
  論文  参考訳（メタデータ） (2020-01-04T15:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。