論文の概要: NOMU: Neural Optimization-based Model Uncertainty

• arxiv url: http://arxiv.org/abs/2102.13640v1
• Date: Fri, 26 Feb 2021 18:34:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-01 14:07:26.123942
• Title: NOMU: Neural Optimization-based Model Uncertainty
• Title（参考訳）: NOMU:ニューラルオプティマイズに基づくモデル不確実性
• Authors: Jakob Heiss, Jakob Weissteiner, Hanna Wutte, Sven Seuken, Josef Teichmann
• Abstract要約: ニューラル最適化に基づくモデル不確実性(NOMU)と呼ばれる回帰におけるニューラルネットワーク(NN)のモデル不確実性を捉える新しいアプローチを紹介します。 NOMUの主な考え方は、モデル予測とモデル不確実性のための2つの接続サブネットワークからなるネットワークアーキテクチャを設計し、慎重に設計された損失関数を用いてそれを訓練することである。
• 参考スコア（独自算出の注目度）: 11.785813549920205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a new approach for capturing model uncertainty for neural networks (NNs) in regression, which we call Neural Optimization-based Model Uncertainty (NOMU). The main idea of NOMU is to design a network architecture consisting of two connected sub-networks, one for the model prediction and one for the model uncertainty, and to train it using a carefully designed loss function. With this design, NOMU can provide model uncertainty for any given (previously trained) NN by plugging it into the framework as the sub-network used for model prediction. NOMU is designed to yield uncertainty bounds (UBs) that satisfy four important desiderata regarding model uncertainty, which established methods often do not satisfy. Furthermore, our UBs are themselves representable as a single NN, which leads to computational cost advantages in applications such as Bayesian optimization. We evaluate NOMU experimentally in multiple settings. For regression, we show that NOMU performs as well as or better than established benchmarks. For Bayesian optimization, we show that NOMU outperforms all other benchmarks.
• Abstract（参考訳）: ニューラル最適化に基づくモデル不確実性(NOMU)と呼ばれる回帰モデルニューラルネットワーク(NN)のモデル不確かさを捉える新しい手法を提案する。 NOMUの主な考え方は、モデル予測とモデル不確実性のための2つの接続サブネットワークからなるネットワークアーキテクチャを設計し、慎重に設計された損失関数を用いてそれを訓練することである。 この設計により、NOMUは、モデル予測に使用されるサブネットワークとしてフレームワークに接続することで、任意の(以前に訓練された)NNに対してモデル不確実性を提供することができる。 NOMUはモデル不確実性に関して4つの重要なデシラタを満たす不確実性境界(UBs)を得るように設計されている。 さらに、当社のUBは単一のNNとして表現可能であり、ベイズ最適化などのアプリケーションで計算コストの利点につながります。 複数の設定でNOMUを実験的に評価します。 回帰では、nomuが確立したベンチマークよりも優れた性能を示す。 ベイズ最適化では、NOMUが他のベンチマークよりも優れていることを示す。

関連論文リスト

• Towards Robust k-Nearest-Neighbor Machine Translation [72.9252395037097]
  近年,k-Nearest-Neighbor Machine Translation (kNN-MT)がNMTの重要な研究方向となっている。 その主なアイデアは、NMTモデルを更新することなく翻訳を変更するために、追加のデータストアから有用なキーと値のペアを取得することである。 取り出したノイズペアはモデル性能を劇的に低下させる。 ノイズの影響を軽減するために,頑健なトレーニングを施した信頼性向上kNN-MTモデルを提案する。
  論文  参考訳（メタデータ） (2022-10-17T07:43:39Z)
• NeuralFMU: Presenting a workflow for integrating hybrid NeuralODEs into real world applications [0.0]
  我々は、NeuralFMUをセットアップおよび使用するための直感的なワークフローを提案する。 本稿では,自動車の縦波力学モデルに基づく消費シミュレーションのためのNeuralFMUをデプロイすることで,この概念を実証する。
  論文  参考訳（メタデータ） (2022-09-08T17:17:46Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Model Architecture Adaption for Bayesian Neural Networks [9.978961706999833]
  我々はBNNを精度と不確実性の両方に最適化する新しいネットワークアーキテクチャサーチ(NAS)を示す。 我々の実験では,探索されたモデルでは,最先端(ディープアンサンブル)と比較して,不確実性と精度が比較できる。
  論文  参考訳（メタデータ） (2022-02-09T10:58:50Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)
• A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2021-01-07T19:12:06Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)
• Modeling Token-level Uncertainty to Learn Unknown Concepts in SLU via Calibrated Dirichlet Prior RNN [98.4713940310056]
  現代パーソナルアシスタントにおける音声言語理解(SLU)の主な課題は、発話から意味概念を抽出することである。 最近の研究では、疑問と回答を収集し、未知のデータを学習し、質問すべきである。 疑わしい監督なしにシーケンスの不確かさをモデル化するために、ソフトマックスベースのスロット充填ニューラルネットワークアーキテクチャを組み込んだ。
  論文  参考訳（メタデータ） (2020-10-16T02:12:30Z)
• Neural Model-based Optimization with Right-Censored Observations [42.530925002607376]
  ニューラルネットワーク(NN)は、モデルベースの最適化手順のコアでうまく機能することが実証されている。 トレーニングされた回帰モデルは,いくつかのベースラインよりも優れた予測品質が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T07:32:30Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。