論文の概要: Lipschitz standardization for multivariate learning

• arxiv url: http://arxiv.org/abs/2002.11369v3
• Date: Wed, 21 Oct 2020 21:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 14:16:51.443461
• Title: Lipschitz standardization for multivariate learning
• Title（参考訳）: リプシッツによる多変量学習の標準化
• Authors: Adri\'an Javaloy, Isabel Valera
• Abstract要約: 変数間の局所的なリプシッツ滑らかさのバランスをとる新しいデータ前処理であるリプシッツ標準化を提案する。 実世界のデータセットに対する我々の実験は、リプシッツの標準化が既存のデータ前処理技術で学んだものよりも、より正確な多変量モデルをもたらすことを示している。
• 参考スコア（独自算出の注目度）: 8.773139946846046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Probabilistic learning is increasingly being tackled as an optimization problem, with gradient-based approaches as predominant methods. When modelling multivariate likelihoods, a usual but undesirable outcome is that the learned model fits only a subset of the observed variables, overlooking the rest. In this work, we study this problem through the lens of multitask learning (MTL), where similar effects have been broadly studied. While MTL solutions do not directly apply in the probabilistic setting (as they cannot handle the likelihood constraints) we show that similar ideas may be leveraged during data preprocessing. First, we show that data standardization often helps under common continuous likelihoods, but it is not enough in the general case, specially under mixed continuous and discrete likelihood models. In order for balance multivariate learning, we then propose a novel data preprocessing, Lipschitz standardization, which balances the local Lipschitz smoothness across variables. Our experiments on real-world datasets show that Lipschitz standardization leads to more accurate multivariate models than the ones learned using existing data preprocessing techniques. The models and datasets employed in the experiments can be found in https://github.com/adrianjav/lipschitz-standardization.
• Abstract（参考訳）: 確率的学習は最適化問題として取り組まれており、勾配に基づくアプローチが主流となっている。 多変量確率をモデル化する場合、通常だが望ましくない結果は、学習されたモデルは観測された変数のサブセットにのみ適合し、残りを見渡すことである。 本研究では,同様の効果が広く研究されているマルチタスク学習(MTL)のレンズを用いてこの問題を研究する。 MTLソリューションは確率的設定では直接適用されないが(確率的制約に対処できないため)、データ前処理中に同様のアイデアが活用される可能性があることを示す。 まず、データ標準化は一般的な連続可能性の下では有効であるが、一般的な場合、特に連続確率と離散確率の混合モデルでは不十分であることを示す。 そこで,多変量学習のバランスをとるために,変数間の局所的なリプシッツ滑らかさのバランスをとる新しいデータプリプロセッシングであるリプシッツ標準化を提案する。 実世界のデータセットに関する実験では、リプシッツの標準化により、既存のデータプリプロセッシング技術で学んだものよりも正確な多変量モデルが得られた。 実験で使用されるモデルとデータセットは、https://github.com/adrianjav/lipschitz-standardizationで見ることができる。

関連論文リスト

• A Complete Decomposition of KL Error using Refined Information and Mode Interaction Selection [11.994525728378603]
  我々は高次モード相互作用に着目したログ線形モデルの古典的定式化を再考する。 学習した分布は、実際に利用可能な有限量のデータをより効率的に利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T18:08:32Z)
• Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
  我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。 ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。 これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
  論文  参考訳（メタデータ） (2023-11-28T16:46:14Z)
• Intervention Generalization: A View from Factor Graph Models [7.117681268784223]
  操作されたシステムの分布の因子化に関する最小限の仮定に基づいて、過去の実験から新しい条件への飛躍をいかに保証するかを詳しく検討する。 仮定された$textitinterventional Factor Model$ (IFM) は必ずしも情報であるとは限らないが、不測のコンバウンディングとフィードバックのメカニズムを明示的にモデル化する必要性を便利に抽象化する。
  論文  参考訳（メタデータ） (2023-06-06T21:44:23Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)
• Topological regularization with information filtering networks [0.0]
  学生tを用いたスパースモデリングの応用について詳述する。 株価の対価の対価と人工的に生成されたデータの実際のデータによる例は、この方法論の適用性、性能、ポテンシャルを示している。
  論文  参考訳（メタデータ） (2020-05-10T15:15:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。