論文の概要: The continuous categorical: a novel simplex-valued exponential family

• arxiv url: http://arxiv.org/abs/2002.08563v2
• Date: Mon, 8 Jun 2020 17:13:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 06:42:33.340400
• Title: The continuous categorical: a novel simplex-valued exponential family
• Title（参考訳）: 連続圏:新しい単純x値指数関数族
• Authors: Elliott Gordon-Rodriguez, Gabriel Loaiza-Ganem, John P. Cunningham
• Abstract要約: 単純な値を持つデータに対する標準的な選択は、バイアスや数値問題など、いくつかの制限に悩まされていることを示す。 我々は,これらの制約を,単純度値データモデリングのための新しい指数関数列を導入することによって解決する。 ディリクレや他の典型的な選択とは異なり、連続な圏は確率的損失関数をよく表す。
• 参考スコア（独自算出の注目度）: 23.983555024375306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simplex-valued data appear throughout statistics and machine learning, for example in the context of transfer learning and compression of deep networks. Existing models for this class of data rely on the Dirichlet distribution or other related loss functions; here we show these standard choices suffer systematically from a number of limitations, including bias and numerical issues that frustrate the use of flexible network models upstream of these distributions. We resolve these limitations by introducing a novel exponential family of distributions for modeling simplex-valued data - the continuous categorical, which arises as a nontrivial multivariate generalization of the recently discovered continuous Bernoulli. Unlike the Dirichlet and other typical choices, the continuous categorical results in a well-behaved probabilistic loss function that produces unbiased estimators, while preserving the mathematical simplicity of the Dirichlet. As well as exploring its theoretical properties, we introduce sampling methods for this distribution that are amenable to the reparameterization trick, and evaluate their performance. Lastly, we demonstrate that the continuous categorical outperforms standard choices empirically, across a simulation study, an applied example on multi-party elections, and a neural network compression task.
• Abstract（参考訳）: simplex-valuedデータは、例えばディープネットワークの転送学習や圧縮といった文脈で、統計や機械学習全体に現れる。 このようなデータに対する既存のモデルは、ディリクレ分布や他の関連する損失関数に依存する。ここでは、これらの標準選択が、これらの分布の上流における柔軟なネットワークモデルの使用をいら立たせるバイアスや数値問題など、多くの制限によって体系的に苦しめられていることを示している。 最近発見された連続ベルヌーイの非自明な多変量一般化として生じる連続圏(英語版)(continuous categorical)をモデル化するための新しい指数関数列を導入することで、これらの制限を解消する。 ディリクレや他の典型的な選択とは異なり、連続圏は、偏りのない推定子を産み出す優れた確率的損失関数をもたらすが、ジリクレの数学的単純さは保たれる。 本稿では,その理論的性質を探求するとともに,再パラメータ化手法に適合する分布のサンプリング手法を導入し,その性能評価を行う。 最後に,シミュレーション研究,多政党選挙の応用例,ニューラルネットワーク圧縮タスクにおいて,連続的カテゴリが標準選択を経験的に上回っていることを示す。

関連論文リスト

• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning [29.473503894240096]
  我々は、厳密な分類ではなく、単純な表現の値を取るデータにカテゴリ横断エントロピー損失を用いることに焦点をあてる。 このプラクティスは、ラベルの平滑化やアクター/ミリ波強化学習など、ニューラルネットワークアーキテクチャにおいて標準的なものだ。 我々はこれらのモデルに対して確率論的に着想を得た代替案を提案し、より原理的で理論的に魅力的であるアプローチを提供する。
  論文  参考訳（メタデータ） (2020-11-10T16:44:35Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Distribution Regression for Sequential Data [20.77698059067596]
  入力が複雑なデータストリームである分散回帰のための厳密なフレームワークを開発する。 機能ベースとカーネルベースという2つの新しい学習手法を導入する。
  論文  参考訳（メタデータ） (2020-06-10T12:47:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。