論文の概要: In Search of Probeable Generalization Measures

• arxiv url: http://arxiv.org/abs/2110.12259v1
• Date: Sat, 23 Oct 2021 16:52:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 16:32:04.389282
• Title: In Search of Probeable Generalization Measures
• Title（参考訳）: 探究可能な一般化策を求めて
• Authors: Jonathan Jaegerman, Khalil Damouni, Mahdi S. Hosseini, Konstantinos N. Plataniotis
• Abstract要約: 一般化対策は、強力なレイヤーワイドモデルチューニングと最適化アルゴリズムの開発に有用であることが証明されている。 本研究の目的は,探索可能な一般化手法の無視されたサブトピックを探索することである。
• 参考スコア（独自算出の注目度）: 34.741570387332764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the generalization behaviour of deep neural networks is a topic of recent interest that has driven the production of many studies, notably the development and evaluation of generalization "explainability" measures that quantify model generalization ability. Generalization measures have also proven useful in the development of powerful layer-wise model tuning and optimization algorithms, though these algorithms require specific kinds of generalization measures which can probe individual layers. The purpose of this paper is to explore the neglected subtopic of probeable generalization measures; to establish firm ground for further investigations, and to inspire and guide the development of novel model tuning and optimization algorithms. We evaluate and compare measures, demonstrating effectiveness and robustness across model variations, dataset complexities, training hyperparameters, and training stages. We also introduce a new dataset of trained models and performance metrics, GenProb, for testing generalization measures, model tuning algorithms and optimization algorithms.
• Abstract（参考訳）: 深層ニューラルネットワークの一般化行動を理解することは、モデル一般化能力を定量化する一般化「説明可能性」尺度の開発と評価など、多くの研究の創出を促した最近の関心事である。 一般化測度は、個々の層を探索する特定の種類の一般化測度を必要とするが、強力な層ワイドモデルチューニングおよび最適化アルゴリズムの開発にも有用であることが証明されている。 本研究の目的は,探索可能な一般化手法の無視されたサブトピックを探究し,さらなる研究の基盤を築き,新しいモデルチューニングと最適化アルゴリズムの開発を促すことである。 評価と比較を行い,モデルの変動,データセットの複雑度,トレーニングハイパーパラメータ,トレーニングステージをまたいだ有効性と堅牢性を示す。 我々はまた、一般化尺度、モデルチューニングアルゴリズム、最適化アルゴリズムをテストするために、訓練されたモデルとパフォーマンスメトリクスの新しいデータセットGenProbを紹介した。

関連論文リスト

• Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms [15.473123662393169]
  ディープニューラルネットワーク(DNN)は、顕著な一般化特性を示す。 これらの能力の源泉は依然として解明され、確立された統計的学習理論を否定している。 近年の研究では、訓練軌跡の性質が一般化の指標であることが示されている。
  論文  参考訳（メタデータ） (2024-07-11T17:56:03Z)
• Heterogeneous Transfer Learning for Building High-Dimensional Generalized Linear Models with Disparate Datasets [0.0]
  本稿では,高次元一般化線形モデル構築のための伝達学習手法について述べる。 我々は、すべての予測器に関する詳細な情報と、より限定された予測器のセットを持つ、より大きい、潜在的にはるかに大きな研究データを用いて、主研究からのデータを使用します。
  論文  参考訳（メタデータ） (2023-12-20T06:11:59Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• A General Framework for Sample-Efficient Function Approximation in Reinforcement Learning [132.45959478064736]
  モデルベースとモデルフリー強化学習を統合した汎用フレームワークを提案する。 最適化に基づく探索のための分解可能な構造特性を持つ新しい推定関数を提案する。 本フレームワークでは,OPERA (Optimization-based Exploration with Approximation) という新しいサンプル効率アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-30T17:59:16Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• Symbolic Brittleness in Sequence Models: on Systematic Generalization in Symbolic Mathematics [38.62999063710003]
  我々は、テストセットを超えて体系的に一般化する必要があるため、記号的数学的積分の問題を考察する。 本稿では,問題領域の構造と検証器へのアクセスを活かした一般化評価手法を開発する。 本研究では,手動テストスイートと遺伝的アルゴリズムの両方を用いて,ロバスト性,構成性,分布外一般化を実現する上での課題を示す。
  論文  参考訳（メタデータ） (2021-09-28T18:50:15Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Robustness to Augmentations as a Generalization metric [0.0]
  一般化とは、目に見えないドメインを予測するモデルの能力です。 拡張に頑健なモデルは、そうでないモデルよりも一般化可能であるという概念を用いて、モデルの一般化性能を予測する手法を提案する。 提案手法は、ディープラーニングにおける一般化予測に関するNeurIPSコンペティションの最初のランナーアップソリューションであった。
  論文  参考訳（メタデータ） (2021-01-16T15:36:38Z)
• A Brief Look at Generalization in Visual Meta-Reinforcement Learning [56.50123642237106]
  メタ強化学習アルゴリズムの一般化性能を評価する。 これらのアルゴリズムは、困難なタスクで評価された場合、強いオーバーフィッティングを示すことができる。
  論文  参考訳（メタデータ） (2020-06-12T15:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。