Fugu-MT 論文翻訳(概要): Efficient Data-Dependent Learnability

論文の概要: Efficient Data-Dependent Learnability

arxiv url: http://arxiv.org/abs/2011.10334v1
Date: Fri, 20 Nov 2020 10:44:55 GMT
ステータス: 処理完了
システム内更新日: 2022-09-23 05:24:01.943265
Title: Efficient Data-Dependent Learnability
Title（参考訳）: データ依存学習の効率化
Authors: Yaniv Fogel, Tal Shapira and Meir Feder
Abstract要約: 予測正規化最大可能性(pNML)アプローチは、最近、バッチ学習問題に対する min-max 最適解として提案されている。ニューラルネットワークに適用すると、この近似が分散外例を効果的に検出できることが示される。
参考スコア（独自算出の注目度）: 8.766022970635898
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The predictive normalized maximum likelihood (pNML) approach has recently been proposed as the min-max optimal solution to the batch learning problem where both the training set and the test data feature are individuals, known sequences. This approach has yields a learnability measure that can also be interpreted as a stability measure. This measure has shown some potential in detecting out-of-distribution examples, yet it has considerable computational costs. In this project, we propose and analyze an approximation of the pNML, which is based on influence functions. Combining both theoretical analysis and experiments, we show that when applied to neural networks, this approximation can detect out-of-distribution examples effectively. We also compare its performance to that achieved by conducting a single gradient step for each possible label.
Abstract（参考訳）: 予測正規化最大可能性(pNML)アプローチは、最近、トレーニングセットとテストデータ特徴の両方が既知のシーケンスであるバッチ学習問題に対する min-max 最適解として提案されている。このアプローチは安定性尺度としても解釈できる学習可能性尺度を生み出している。この尺度は分布外例の検出にいくつかの可能性を示しているが、計算コストは相当である。本稿では,影響関数に基づくpNMLの近似を提案し,解析する。理論的解析と実験を組み合わせることで、ニューラルネットワークに適用すると、この近似が分布外例を効果的に検出できることを示す。また、可能なラベルごとに単一の勾配ステップを実行することで達成した性能と比較する。

関連論文リスト

Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文参考訳（メタデータ） (2024-01-18T08:12:23Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
論文参考訳（メタデータ） (2023-02-24T10:32:30Z)
Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。これらの結果はサンプル状態と有限状態の両方で定式化する。
論文参考訳（メタデータ） (2022-10-03T06:09:01Z)
On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks [23.502721524477444]
このアプローチがいかにして非常に貧弱だが安定な推定に繋がるかを示す合成例を示す。問題を悪化させる特定の条件とともに、犯人をログライクな損失とみなす。我々は、損失に対する各データポイントの寄与を、$beta$-exponentiated variance estimateによって重み付けする、$beta$-NLLと呼ばれる別の定式化を提案する。
論文参考訳（メタデータ） (2022-03-17T08:46:17Z)
Reducing Overconfidence Predictions for Autonomous Driving Perception [3.1428836133120543]
対象認識のためのSoftMaxやSigmoidベースの予測よりも,最大a-Posteriori(MAP)関数と最大a-Posteriori(MAP)関数の方が確率論的解釈に適していることを示す。 MLとMAP関数は、既存のトレーニングネットワーク、すなわち、事前トレーニングされたネットワークのLogit層の出力によるアプローチの恩恵を受けることができる。
論文参考訳（メタデータ） (2022-02-16T01:59:55Z)
Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文参考訳（メタデータ） (2021-08-25T21:30:27Z)
Instance Based Approximations to Profile Maximum Likelihood [33.51964370430905]
プロファイル最大度(PML)分布を近似計算するアルゴリズムを提案する。 PseudoPMLは、幅広い対称特性のクラスを推定するフレームワークである。
論文参考訳（メタデータ） (2020-11-05T11:17:19Z)
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文参考訳（メタデータ） (2020-11-05T08:04:34Z)
SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文参考訳（メタデータ） (2020-08-19T19:11:25Z)
A maximum-entropy approach to off-policy evaluation in average-reward MDPs [54.967872716145656]
この研究は、無限水平非カウントマルコフ決定過程(MDPs)における関数近似を伴うオフ・ポリティ・アセスメント(OPE)に焦点を当てる。提案手法は,第1の有限サンプル OPE 誤差境界であり,既存の結果がエピソードおよびディスカウントケースを超えて拡張される。この結果から,教師あり学習における最大エントロピー的アプローチを並列化して,十分な統計値を持つ指数関数型家族分布が得られた。
論文参考訳（メタデータ） (2020-06-17T18:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。