論文の概要: Robustness to Augmentations as a Generalization metric

• arxiv url: http://arxiv.org/abs/2101.06459v1
• Date: Sat, 16 Jan 2021 15:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 04:35:32.617982
• Title: Robustness to Augmentations as a Generalization metric
• Title（参考訳）: 一般化計量としての拡張へのロバストネス
• Authors: Sumukh Aithal K, Dhruva Kashyap, Natarajan Subramanyam
• Abstract要約: 一般化とは、目に見えないドメインを予測するモデルの能力です。 拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。 提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization is the ability of a model to predict on unseen domains and is a fundamental task in machine learning. Several generalization bounds, both theoretical and empirical have been proposed but they do not provide tight bounds .In this work, we propose a simple yet effective method to predict the generalization performance of a model by using the concept that models that are robust to augmentations are more generalizable than those which are not. We experiment with several augmentations and composition of augmentations to check the generalization capacity of a model. We also provide a detailed motivation behind the proposed method. The proposed generalization metric is calculated based on the change in the output of the model after augmenting the input. The proposed method was the first runner up solution for the NeurIPS competition on Predicting Generalization in Deep Learning.
• Abstract（参考訳）: 一般化は、モデルが目に見えない領域で予測する能力であり、機械学習の基本的なタスクである。 本研究では,拡張に頑健なモデルがそうでないモデルよりも一般化可能であるという概念を用いて,モデルの一般化性能を予測するための単純かつ効果的な手法を提案する。 我々は,モデルの一般化能力を確認するために,いくつかの拡張と拡張の構成を試行する。 また,提案手法の背後には詳細な動機がある。 提案した一般化指標は,入力の増大後のモデル出力の変化に基づいて算出される。 提案手法は,Deep Learningにおける予測一般化に関するNeurIPSコンペティションのための,最初のランナーアップソリューションである。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Understanding Generalization via Set Theory [1.6475699373210055]
  一般化は機械学習モデルの中核にある。 我々は、アルゴリズム、仮説、データセットの一般化の概念を導入するために集合論を用いる。
  論文  参考訳（メタデータ） (2023-11-11T11:47:29Z)
• Aggregation Weighting of Federated Learning via Generalization Bound Estimation [65.8630966842025]
  フェデレートラーニング(FL)は通常、サンプル比率によって決定される重み付けアプローチを使用して、クライアントモデルパラメータを集約する。 上記の重み付け法を,各局所モデルの一般化境界を考慮した新しい戦略に置き換える。
  論文  参考訳（メタデータ） (2023-11-10T08:50:28Z)
• Boosting Fair Classifier Generalization through Adaptive Priority Reweighing [59.801444556074394]
  より優れた一般化性を持つ性能向上フェアアルゴリズムが必要である。 本稿では,トレーニングデータとテストデータ間の分散シフトがモデル一般化性に与える影響を解消する適応的リライジング手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T13:04:55Z)
• Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
  本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。 キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。 本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
  論文  参考訳（メタデータ） (2023-07-15T09:24:33Z)
• Sparsity-aware generalization theory for deep neural networks [12.525959293825318]
  本稿では、ディープフィードフォワードReLUネットワークの一般化を解析するための新しいアプローチを提案する。 空間性と一般化の基本的なトレードオフを示す。
  論文  参考訳（メタデータ） (2023-07-01T20:59:05Z)
• Improving Generalization of Pre-trained Language Models via Stochastic Weight Averaging [25.856435988848638]
  知識蒸留(KD)は、コンパクトな事前学習言語モデル(PLM)の一般化を改善するための一般的な技術である。 我々は、より平坦な最小値への収束を促す手法であるウェイト平均化(SWA)を微調整 PLM に適用する。 我々の適応は余分なコストを伴わずに一般化を改善することを実証する。
  論文  参考訳（メタデータ） (2022-12-12T15:09:56Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Generalization Gap in Amortized Inference [17.951010274427187]
  確率モデルの一般的なクラス - 変分オートエンコーダ (VAE) の一般化について検討する。 過度に適合する現象は、通常、償却推論ネットワークに支配されていることを示す。 そこで本研究では,従来のウェイク・スリープ・アルゴリズムにヒントを得た新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2022-05-23T21:28:47Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• End-to-end Neural Coreference Resolution Revisited: A Simple yet Effective Baseline [20.431647446999996]
  本稿では、コア参照解決のための単純で効果的なベースラインを提案する。 我々のモデルは、オリジナルのニューラルコア参照解決モデルの簡易版である。 我々の研究は、既存のモデルや新しく提案されたモデルの複雑さを慎重に正当化する必要性を示す証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-04T18:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。