論文の概要: Masking schemes for universal marginalisers

• arxiv url: http://arxiv.org/abs/2001.05895v1
• Date: Thu, 16 Jan 2020 15:35:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 23:45:51.194491
• Title: Masking schemes for universal marginalisers
• Title（参考訳）: ユニバーサルフレーバーに対するマスキングスキーム
• Authors: Divya Gautam, Maria Lomeli, Kostis Gourgoulias, Daniel H. Thompson, Saurabh Johri
• Abstract要約: 本研究は,ユニバーサル・サマリヤのトレーニングにおける構造に依存しないマスキング・スキームの効果について考察する。 予測性能と一般化特性の観点から異なるマスキングスキームで訓練されたネットワークを比較した。
• 参考スコア（独自算出の注目度）: 1.0412114420493723
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the effect of structure-agnostic and structure-dependent masking schemes when training a universal marginaliser (arXiv:1711.00695) in order to learn conditional distributions of the form $P(x_i |\mathbf x_{\mathbf b})$, where $x_i$ is a given random variable and $\mathbf x_{\mathbf b}$ is some arbitrary subset of all random variables of the generative model of interest. In other words, we mimic the self-supervised training of a denoising autoencoder, where a dataset of unlabelled data is used as partially observed input and the neural approximator is optimised to minimise reconstruction loss. We focus on studying the underlying process of the partially observed data---how good is the neural approximator at learning all conditional distributions when the observation process at prediction time differs from the masking process during training? We compare networks trained with different masking schemes in terms of their predictive performance and generalisation properties.
• Abstract（参考訳）: 普遍境界群 (arXiv:1711.00695) を訓練し、$P(x_i |\mathbf x_{\mathbf b})$,$x_i$ は与えられた確率変数であり、$\mathbf x_{\mathbf b}$ は生成的モデルのすべてのランダム変数の任意の部分集合である。 言い換えれば、デノナイズドオートエンコーダの自己教師型トレーニングを模倣し、非競合データのデータセットを部分的な入力として使用し、ニューラル近似器を最適化して再構成損失を最小限に抑える。 トレーニング中のマスキング過程と予測時の観察過程が異なる場合, ニューラルネットワークによる条件分布の学習は, どの程度良好か? 予測性能と一般化特性の観点から異なるマスキングスキームで訓練されたネットワークを比較した。

関連論文リスト

• Mitigating covariate shift in non-colocated data with learned parameter priors [0.0]
  textitFragmentation-induced co-shift remediation(FIcsR$)は、フラグメントの共変量分布と標準クロスバリデーションベースラインとの$f$-divergenceを最小限にする。 複数のデータクラス、40ドル以上のデータセット、および複数のシーケンス長にわたってバッチ化されたデータに対して、広範な分類実験を行います。 バッチとフォールド・オブ・ザ・アーティファクトに対する精度は、それぞれ5%以上と10%以上向上している。
  論文  参考訳（メタデータ） (2024-11-10T15:48:29Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Prediction with Incomplete Data under Agnostic Mask Distribution Shift [35.86200694774949]
  分布シフトが存在する場合,不完全なデータによる予測について検討する。 我々は各マスクに対して、不変な最適予測器が存在するという観測を活用している。 本稿では,StableMissと呼ばれる新しい予測手法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T14:06:06Z)
• DenseHybrid: Hybrid Anomaly Detection for Dense Open-set Recognition [1.278093617645299]
  異常検出は、正規トレーニングデータの生成的モデリングや、負のトレーニングデータに対する識別によって行うことができる。 本稿では,大きな自然画像に対して密集した開集合認識が可能なハイブリッド異常スコアを提案する。 実験では, 標準密度異常検出ベンチマークと, オープンセット性能の新たな指標であるopen-mIoUについて評価した。
  論文  参考訳（メタデータ） (2022-07-06T11:48:50Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Learning from Incomplete Features by Simultaneous Training of Neural Networks and Sparse Coding [24.3769047873156]
  本稿では,不完全な特徴を持つデータセット上で分類器を訓練する問題に対処する。 私たちは、各データインスタンスで異なる機能のサブセット(ランダムまたは構造化)が利用できると仮定します。 新しい教師付き学習法が開発され、サンプルあたりの機能のサブセットのみを使用して、一般的な分類器を訓練する。
  論文  参考訳（メタデータ） (2020-11-28T02:20:39Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• On the Preservation of Spatio-temporal Information in Machine Learning Applications [0.0]
  機械学習アプリケーションでは、各データ属性は他のものと仮定される。 Shift vectors-in $k$meansはスパース表現の助けを借りて、新しいフレームワークで提案されている。 実験により、浅層ニューラルネットワークのシミュレーションとしての特徴抽出はガボラル辞書学習よりも若干優れた性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-06-15T12:22:36Z)
• Neural Bayes: A Generic Parameterization Method for Unsupervised Representation Learning [175.34232468746245]
  本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。 これは一般に計算が難しい統計量の計算を可能にする。 このパラメータ化のための2つの独立したユースケースを示す。
  論文  参考訳（メタデータ） (2020-02-20T22:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。