論文の概要: Three Learning Stages and Accuracy-Efficiency Tradeoff of Restricted Boltzmann Machines

• arxiv url: http://arxiv.org/abs/2209.00873v1
• Date: Fri, 2 Sep 2022 08:20:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-09-05 13:01:28.136256
• Title: Three Learning Stages and Accuracy-Efficiency Tradeoff of Restricted Boltzmann Machines
• Title（参考訳）: 制限ボルツマンマシンの3つの学習段階と精度-効率トレードオフ
• Authors: Lennart Dabelow and Masahito Ueda
• Abstract要約: 制限付きボルツマンマシン(RBM)は教師なし機械学習のための汎用アーキテクチャを提供する。 トレーニングや最終的な応用には、正確かつ効率的なサンプル装置を持つことが望ましい。 独立学習,相関学習,劣化という,RBM学習の3つの形態を同定し,定量的に特徴付ける。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Restricted Boltzmann Machines (RBMs) offer a versatile architecture for unsupervised machine learning that can in principle approximate any target probability distribution with arbitrary accuracy. However, the RBM model is usually not directly accessible due to its computational complexity, and Markov-chain sampling is invoked to analyze the learned probability distribution. For training and eventual applications, it is thus desirable to have a sampler that is both accurate and efficient. We highlight that these two goals generally compete with each other and cannot be achieved simultaneously. More specifically, we identify and quantitatively characterize three regimes of RBM learning: independent learning, where the accuracy improves without losing efficiency; correlation learning, where higher accuracy entails lower efficiency; and degradation, where both accuracy and efficiency no longer improve or even deteriorate. These findings are based on numerical experiments and heuristic arguments.
• Abstract（参考訳）: Restricted Boltzmann Machines (RBMs) は、任意の精度で任意の確率分布を原理的に近似できる、教師なし機械学習のための汎用アーキテクチャを提供する。 しかし、RBMモデルは計算複雑性のため直接アクセスできないことが多く、マルコフ連鎖サンプリングは学習した確率分布を分析するために呼び出される。 したがって、トレーニングや最終的な応用には、正確かつ効率的なサンプル装置を持つことが望ましい。 これら2つの目標が一般的に互いに競合し、同時に達成できない点を強調します。 具体的には,効率を損なうことなく精度が向上する独立学習,高い精度で効率が低下する相関学習,精度と効率の両方が改善または悪化しない劣化という,RBM学習の3つの状態を特定し,定量的に特徴づける。 これらの結果は数値実験とヒューリスティックな議論に基づいている。

関連論文リスト

• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Accurate and Reliable Predictions with Mutual-Transport Ensemble [46.368395985214875]
  Kullback-Leibler (KL) を用いた共学習補助モデルの提案とクロスエントロピー損失の適応的正則化 MTEは精度と不確実性の両方を同時に向上させることができる。 例えば、CIFAR-100データセットでは、我々のResNet34/50上のMTEメソッドは、従来の最先端の手法に比べて大幅に改善された。
  論文  参考訳（メタデータ） (2024-05-30T03:15:59Z)
• MixedNUTS: Training-Free Accuracy-Robustness Balance via Nonlinearly Mixed Classifiers [41.56951365163419]
  MixedNUTSは、ロバストな分類器の出力ロジットを3つのパラメータしか持たない非線形変換で処理する訓練不要の手法である。 MixedNUTSは変換されたロジットを確率に変換し、それらを全体の出力として混合する。 CIFAR-10、CIFAR-100、ImageNetデータセットでは、MixedNUTSの精度とほぼSOTAの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-03T21:12:36Z)
• Uncertainty-biased molecular dynamics for learning uniformly accurate interatomic potentials [25.091146216183144]
  アクティブラーニングは、偏りや偏りのない分子動力学を用いて候補プールを生成する。 既存のバイアスやバイアスのないMDシミュレーション手法は、稀な事象や外挿領域を見逃しがちである。 この研究は、MLIPのエネルギー不確実性に偏ったMDが同時に外挿領域と稀な事象を捉えることを示した。
  論文  参考訳（メタデータ） (2023-12-03T14:39:14Z)
• Calibrated ensembles can mitigate accuracy tradeoffs under distribution shift [108.30303219703845]
  ID校正アンサンブルは,IDとOODの精度で,先行技術(自己学習に基づく)より優れていた。 我々は,この手法をスタイリングされた環境で解析し,IDとOODの両方をうまく処理するためのアンサンブルの2つの重要な条件を同定する。
  論文  参考訳（メタデータ） (2022-07-18T23:14:44Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Worst Case Matters for Few-Shot Recognition [27.023352955311502]
  少ないショット認識は、カテゴリ毎に非常に少ない(例:1または5)画像を持つ認識モデルを学ぶ。 現在の数発の学習方法は、多くのエピソードの平均精度を改善することに焦点を当てている。 現実のアプリケーションでは、多くではなく1回だけ試すことがよくあるので、最悪のケースの精度を最大化することは、平均的な精度を最大化することよりも重要である、と私たちは主張する。
  論文  参考訳（メタデータ） (2022-03-13T05:39:40Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Uncertainty Estimation and Calibration with Finite-State Probabilistic RNNs [29.84563789289183]
  不確かさの定量化は、信頼性と信頼性のある機械学習システムを構築するために不可欠である。 本稿では、リカレントニューラルネットワーク(RNN)における離散状態遷移による不確実性の推定を提案する。 モデルの不確実性は、繰り返し状態遷移分布からサンプリングするたびに、予測を数回実行することで定量化することができる。
  論文  参考訳（メタデータ） (2020-11-24T10:35:28Z)
• Discriminative Jackknife: Quantifying Uncertainty in Deep Learning via Higher-Order Influence Functions [121.10450359856242]
  我々は、モデル損失関数の影響関数を利用して、予測信頼区間のジャックニフェ(または、アウト・ワン・アウト)推定器を構築する頻繁な手順を開発する。 1)および(2)を満たすDJは、幅広いディープラーニングモデルに適用可能であり、実装が容易であり、モデルトレーニングに干渉したり、精度を妥協したりすることなく、ポストホックな方法で適用することができる。
  論文  参考訳（メタデータ） (2020-06-29T13:36:52Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。