Fugu-MT 論文翻訳(概要): A Two-Scale Complexity Measure for Deep Learning Models

論文の概要: A Two-Scale Complexity Measure for Deep Learning Models

arxiv url: http://arxiv.org/abs/2401.09184v3
Date: Thu, 09 Jan 2025 07:42:45 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-10 13:57:34.797315
Title: A Two-Scale Complexity Measure for Deep Learning Models
Title（参考訳）: 深層学習モデルの2次元複雑度測定
Authors: Massimiliano Datres, Gian Paolo Leonardi, Alessio Figalli, David Sutter,
Abstract要約: 有効次元に基づく統計モデルのための新しいキャパシティ尺度2sEDを導入する。新しい量は、モデル上の軽度の仮定の下で一般化誤差を証明的に有界にする。標準データセットと一般的なモデルアーキテクチャのシミュレーションは、2sEDがトレーニングエラーとよく相関していることを示している。
参考スコア（独自算出の注目度）: 2.512406961007489
License:
Abstract: We introduce a novel capacity measure 2sED for statistical models based on the effective dimension. The new quantity provably bounds the generalization error under mild assumptions on the model. Furthermore, simulations on standard data sets and popular model architectures show that 2sED correlates well with the training error. For Markovian models, we show how to efficiently approximate 2sED from below through a layerwise iterative approach, which allows us to tackle deep learning models with a large number of parameters. Simulation results suggest that the approximation is good for different prominent models and data sets.
Abstract（参考訳）: 有効次元に基づく統計モデルのための新しいキャパシティ尺度2sEDを導入する。新しい量は、モデル上の軽度の仮定の下で一般化誤差を証明的に有界にする。さらに、標準データセットと一般的なモデルアーキテクチャのシミュレーションは、2sEDがトレーニングエラーとよく相関していることを示している。マルコフモデルでは,階層的反復手法を用いて下から2sEDを効率的に近似する方法を示す。シミュレーションの結果、近似は異なる顕著なモデルやデータセットに適していることが示唆された。

関連論文リスト

EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文参考訳（メタデータ） (2024-05-23T05:25:45Z)
Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文参考訳（メタデータ） (2024-04-11T09:23:36Z)
Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文参考訳（メタデータ） (2024-04-10T14:38:58Z)
Representer Point Selection for Explaining Regularized High-dimensional Models [105.75758452952357]
本稿では,高次元表現器と呼ぶサンプルベース説明のクラスを紹介する。私たちのワークホースは、一般化された高次元モデルに対する新しい代表者定理である。提案手法の実証的性能について,実世界の2進分類データセットと2つの推薦システムデータセットを用いて検討した。
論文参考訳（メタデータ） (2023-05-31T16:23:58Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文参考訳（メタデータ） (2022-03-23T12:52:49Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Using machine learning to correct model error in data assimilation and forecast applications [0.0]
本稿では,既存の知識ベースモデルの誤りを訂正するために,この手法を提案する。結果として得られるサロゲートモデルは、元の(知識ベース)モデルとMLモデルとのハイブリッドモデルである。 DAのハイブリッドサロゲートモデルを用いることで、元のモデルよりもはるかに優れた分析が得られる。
論文参考訳（メタデータ） (2020-10-23T18:30:45Z)
Combining data assimilation and machine learning to infer unresolved scale parametrisation [0.0]
近年、動的数値モデルにおいて、未解決プロセスのデータ駆動パラメトリクスを考案する機械学習が提案されている。我々のゴールは、高分解能シミュレーションの使用を超えて、直接データを用いてMLベースのパラメーターを訓練することである。いずれの場合も、ハイブリッドモデルは、切り落とされたモデルよりも優れたスキルで予測を得られることを示す。
論文参考訳（メタデータ） (2020-09-09T14:12:11Z)
Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
論文参考訳（メタデータ） (2020-04-22T15:15:46Z)
Predicting Multidimensional Data via Tensor Learning [0.0]
本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。提案モデルは,予測文献に存在するベンチマークモデルより優れている。
論文参考訳（メタデータ） (2020-02-11T11:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。