論文の概要: Early stopping by correlating online indicators in neural networks
- arxiv url: http://arxiv.org/abs/2402.02513v1
- Date: Sun, 4 Feb 2024 14:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:29:17.885875
- Title: Early stopping by correlating online indicators in neural networks
- Title（参考訳）: ニューラルネットワークにおけるオンライン指標の相関による早期停止
- Authors: Manuel Vilares Ferro, Yerai Doval Mosquera, Francisco J. Ribadas Pena,
Victor M. Darriba Bilbao
- Abstract要約: 本稿では,学習者の学習において過度に適合する現象を識別する新しい手法を提案する。
提案手法は,オンライン指標の収集における時間的相関を利用したものである。
一つの基準に焦点をあてた従来のアプローチとは対照的に、独立性評価の助成を生かしている。
- 参考スコア（独自算出の注目度）: 0.24578723416255746
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In order to minimize the generalization error in neural networks, a novel
technique to identify overfitting phenomena when training the learner is
formally introduced. This enables support of a reliable and trustworthy early
stopping condition, thus improving the predictive power of that type of
modeling. Our proposal exploits the correlation over time in a collection of
online indicators, namely characteristic functions for indicating if a set of
hypotheses are met, associated with a range of independent stopping conditions
built from a canary judgment to evaluate the presence of overfitting. That way,
we provide a formal basis for decision making in terms of interrupting the
learning process.
As opposed to previous approaches focused on a single criterion, we take
advantage of subsidiarities between independent assessments, thus seeking both
a wider operating range and greater diagnostic reliability. With a view to
illustrating the effectiveness of the halting condition described, we choose to
work in the sphere of natural language processing, an operational continuum
increasingly based on machine learning. As a case study, we focus on parser
generation, one of the most demanding and complex tasks in the domain. The
selection of cross-validation as a canary function enables an actual comparison
with the most representative early stopping conditions based on overfitting
identification, pointing to a promising start toward an optimal bias and
variance control.
- Abstract（参考訳）: ニューラルネットワークにおける一般化誤差を最小限に抑えるため,学習者のトレーニング時に過度に適合する現象を識別する新しい手法が正式に導入された。
これにより、信頼性が高く信頼性の高い早期停止条件のサポートが可能になり、この種のモデリングの予測能力が向上する。
提案手法は,オンライン指標の収集における時間的相関,すなわち仮説の集合が一致したかどうかを示す特徴関数をカナリア判断から構築した独立した停止条件の範囲に関連づけて,過剰適合の有無を評価する。
このようにして、学習プロセスの中断という観点から意思決定の正式な基盤を提供する。
従来の1つの基準に焦点をあてたアプローチとは対照的に,独立した評価の補助的特性を活用して,より広い操作範囲と診断信頼性を求める。
停止条件の有効性を示すために,我々は自然言語処理の分野で働くことを選択した。
ケーススタディでは、ドメイン内で最も要求の多い複雑なタスクの一つであるパーサ生成に注目します。
カナリア関数としてのクロスバリデーションの選択は、オーバーフィッティング識別に基づく最も代表的な早期停止条件と実際の比較を可能にし、最適なバイアスおよび分散制御に向けた有望な出発点を示す。
関連論文リスト
- Adaptive Cascading Network for Continual Test-Time Adaptation [12.718826132518577]
そこで本研究では,テスト時に対象ドメインの列に事前学習したソースモデルを適応させることを目標とする連続的なテスト時間適応の問題について検討する。
テストタイムトレーニングの既存の方法には、いくつかの制限がある。
論文 参考訳（メタデータ） (2024-07-17T01:12:57Z) - Online Decision Mediation [72.80902932543474]
意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。
臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
論文 参考訳（メタデータ） (2023-10-28T05:59:43Z) - Large Class Separation is not what you need for Relational
Reasoning-based OOD Detection [12.578844450586]
Out-Of-Distribution (OOD) 検出法はセマンティックノベルティを識別して解を提供する。
これらの手法の多くは、既知のデータの学習段階を利用しており、これは正規性の概念を捉えるためのモデル(または微調整)を訓練することを意味する。
実行可能な代替手段は、大きな事前訓練されたモデルによって生成された埋め込み空間の類似性を評価することであり、それ以上の学習は行わない。
論文 参考訳（メタデータ） (2023-07-12T14:10:15Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳（メタデータ） (2023-02-23T18:57:14Z) - Robust Fitted-Q-Evaluation and Iteration under Sequentially Exogenous
Unobserved Confounders [16.193776814471768]
連続的に外生的でない共同設立者が存在する場合、ロバストな政策評価と政策最適化について検討する。
本研究は,敗血症治療のシミュレーションと実世界の縦断医療データの両方において,複雑性境界,洞察,有効性を示す。
論文 参考訳（メタデータ） (2023-02-01T18:40:53Z) - Deep Learning Methods for Proximal Inference via Maximum Moment
Restriction [0.0]
深層ニューラルネットワークに基づくフレキシブルでスケーラブルな手法を導入し,不測の共起の存在による因果効果を推定する。
提案手法は,2つの確立された近位推定ベンチマークにおいて,技術性能の状態を達成している。
論文 参考訳（メタデータ） (2022-05-19T19:51:42Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳（メタデータ） (2022-02-18T17:09:32Z) - A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。
我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。
実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
論文 参考訳（メタデータ） (2021-08-05T15:58:25Z) - Causal Modeling with Stochastic Confounders [11.881081802491183]
この作業は、共同設立者との因果推論を拡張します。
本稿では,ランダムな入力空間を持つ表現子定理に基づく因果推論のための変分推定手法を提案する。
論文 参考訳（メタデータ） (2020-04-24T00:34:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。