論文の概要: Wisdom of the Ensemble: Improving Consistency of Deep Learning Models

• arxiv url: http://arxiv.org/abs/2011.06796v1
• Date: Fri, 13 Nov 2020 07:47:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-25 23:19:06.885917
• Title: Wisdom of the Ensemble: Improving Consistency of Deep Learning Models
• Title（参考訳）: アンサンブルの知性:深層学習モデルの一貫性を改善する
• Authors: Lijing Wang, Dipanjan Ghosh, Maria Teresa Gonzalez Diaz, Ahmed Farahat, Mahbubul Alam, Chetan Gupta, Jiangzhuo Chen, Madhav Marathe
• Abstract要約: 信頼はしばしば一定の行動の関数である。 本稿では,配備モデルの周期的再学習の文脈におけるモデル挙動について検討する。 アンサンブル学習者の整合性と整合性は,個々の学習者の平均整合性と整合性に劣らないことを示す。
• 参考スコア（独自算出の注目度）: 11.230300336108018
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning classifiers are assisting humans in making decisions and hence the user's trust in these models is of paramount importance. Trust is often a function of constant behavior. From an AI model perspective it means given the same input the user would expect the same output, especially for correct outputs, or in other words consistently correct outputs. This paper studies a model behavior in the context of periodic retraining of deployed models where the outputs from successive generations of the models might not agree on the correct labels assigned to the same input. We formally define consistency and correct-consistency of a learning model. We prove that consistency and correct-consistency of an ensemble learner is not less than the average consistency and correct-consistency of individual learners and correct-consistency can be improved with a probability by combining learners with accuracy not less than the average accuracy of ensemble component learners. To validate the theory using three datasets and two state-of-the-art deep learning classifiers we also propose an efficient dynamic snapshot ensemble method and demonstrate its value.
• Abstract（参考訳）: ディープラーニング分類器は人間の意思決定を支援するため、これらのモデルに対するユーザの信頼が最も重要である。 信頼はしばしば一定の行動の関数である。 aiモデルの観点からすると、ユーザーが同じアウトプットを期待する同じ入力、特に正しいアウトプット、あるいは言い換えれば一貫して正しいアウトプットを期待することを意味する。 本報告では, モデルの各世代からの出力が同一入力に割り当てられた正しいラベルに一致しない場合の, 配置モデルの周期的再トレーニングの文脈におけるモデル挙動について検討する。 学習モデルの一貫性と整合性を正式に定義する。 アンサンブル学習者の整合性と整合性は個々の学習者の平均整合性と整合性に劣らず、アンサンブル成分学習者の平均精度よりも精度の高い学習者を組み合わせることにより確率的に向上できることを示す。 3つのデータセットと2つの最先端ディープラーニング分類器を用いて理論を検証するため、効率的な動的スナップショットアンサンブル法を提案し、その価値を示す。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• Entity-level Factual Adaptiveness of Fine-tuning based Abstractive Summarization Models [31.84120883461332]
  我々は、微調整に基づく要約モデルの頑健さと知識衝突を解析する。 本稿では,制御可能な対実データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-23T07:53:39Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Self-Consistency of Large Language Models under Ambiguity [4.141513298907867]
  本研究は,不特定の場合の自己整合性評価ベンチマークを示す。 あいまいな整数列補完タスクを用いて,OpenAIモデルスイート上で一連の動作実験を行う。 平均一貫性は67%から82%の範囲であり、モデルの一貫性がランダムであれば予測されるよりもはるかに高い。
  論文  参考訳（メタデータ） (2023-10-20T11:57:56Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
  我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。 合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
  論文  参考訳（メタデータ） (2023-02-23T18:57:14Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks [62.48782506095565]
  深層ニューラルネットワークにおける学習の欲張った性質から、モデルは一つのモダリティにのみ依存する傾向にあり、他のモダリティには不適合であることを示す。 本稿では,学習中のモーダル間の条件付き学習速度のバランスをとるアルゴリズムを提案し,グリージー学習の問題に対処できることを実証する。
  論文  参考訳（メタデータ） (2022-02-10T20:11:21Z)
• Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models [38.03490197822934]
  一貫性とは、意味的に類似したコンテキストに対して、同じ予測を生成する能力である。 本稿では,言語理解モデル(CALUM)における一貫性解析というフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T06:25:07Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。