Fugu-MT 論文翻訳(概要): On the Generalization Error of Meta Learning for the Gibbs Algorithm

論文の概要: On the Generalization Error of Meta Learning for the Gibbs Algorithm

arxiv url: http://arxiv.org/abs/2304.14332v1
Date: Thu, 27 Apr 2023 17:04:36 GMT
ステータス: 処理完了
システム内更新日: 2023-04-28 12:31:53.498205
Title: On the Generalization Error of Meta Learning for the Gibbs Algorithm
Title（参考訳）: Gibbsアルゴリズムにおけるメタ学習の一般化誤差について
Authors: Yuheng Bu, Harsha Vardhan Tetali, Gholamali Aminian, Miguel Rodrigues and Gregory Wornell
Abstract要約: Gibbsアルゴリズムを用いて,共同学習型メタ学習アルゴリズムの一般化能力を解析した。この結果から,これらのGibbsアルゴリズムに対して,新しい分布自由な一般化誤差上限を提供することができた。
参考スコア（独自算出の注目度）: 7.652466615263705
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: We analyze the generalization ability of joint-training meta learning algorithms via the Gibbs algorithm. Our exact characterization of the expected meta generalization error for the meta Gibbs algorithm is based on symmetrized KL information, which measures the dependence between all meta-training datasets and the output parameters, including task-specific and meta parameters. Additionally, we derive an exact characterization of the meta generalization error for the super-task Gibbs algorithm, in terms of conditional symmetrized KL information within the super-sample and super-task framework introduced in Steinke and Zakynthinou (2020) and Hellstrom and Durisi (2022) respectively. Our results also enable us to provide novel distribution-free generalization error upper bounds for these Gibbs algorithms applicable to meta learning.
Abstract（参考訳）: Gibbsアルゴリズムを用いて,共同学習メタ学習アルゴリズムの一般化能力を解析する。メタギブスアルゴリズムの予測メタ一般化誤差の正確な特徴は、メタトレーニングデータセットとタスク固有パラメータやメタパラメータを含む出力パラメータ間の依存性を測定する対称性付きKL情報に基づいている。さらに, steinke と zakynthinou (2020) と hellstrom と durisi (2022) で導入された super-sample と super-task framework における条件付き対称性kl 情報を用いて, 超タスク gibbs アルゴリズムのメタ一般化誤差を正確に評価した。また,メタ学習に適用可能なGibsアルゴリズムに対して,新しい分布自由な一般化誤差上限を提供することができた。

関連論文リスト

Generalization Analysis of Machine Learning Algorithms via the Worst-Case Data-Generating Probability Measure [1.773764539873123]
データに対する最悪の確率測定は、機械学習アルゴリズムの一般化能力を特徴づけるツールとして紹介される。予測損失の感度、経験的リスクの感度、一般化ギャップなどの基本的な一般化指標は、クローズドフォーム表現を持つことが示されている。最悪のデータ生成確率尺度とギブスアルゴリズムとの間には,新たな並列性が確立されている。
論文参考訳（メタデータ） (2023-12-19T15:20:27Z)
Joint Graph Learning and Model Fitting in Laplacian Regularized Stratified Models [5.933030735757292]
ラプラシア正規化成層モデル(Laplacian regularized Stratified Model、LRSM)は、サブプロブレムの明示的または暗黙的なネットワーク構造を利用するモデルである。本稿では,LRSMにおけるグラフ重みの重要性と感度を示し,その感度が任意に大きいことを示す。本稿では,1つの最適化問題を解くことで,モデルパラメータを適合させながらグラフを共同学習する汎用的手法を提案する。
論文参考訳（メタデータ） (2023-05-04T06:06:29Z)
MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文参考訳（メタデータ） (2022-10-24T15:14:26Z)
Characterizing and Understanding the Generalization Error of Transfer Learning with Gibbs Algorithm [10.851348154870854]
本稿では,ギブスに基づく移動学習アルゴリズムの一般化能力に関する情報理論解析を行う。本稿では,2段階のトランスファー学習アプローチである$alpha$-weightedERMと2段階ERMに着目した。
論文参考訳（メタデータ） (2021-11-02T14:49:48Z)
Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information [18.92529916180208]
教師付き学習アルゴリズムの一般化誤差の境界は、学習理論における最も重要な問題の1つである。我々の主な貢献は、よく知られたギブスアルゴリズムの予測一般化誤差を正確に評価することである。
論文参考訳（メタデータ） (2021-07-28T22:20:34Z)
Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文参考訳（メタデータ） (2021-06-09T08:05:36Z)
Meta-Learning with Fewer Tasks through Task Interpolation [67.03769747726666]
現在のメタ学習アルゴリズムは多数のメタトレーニングタスクを必要としており、実際のシナリオではアクセスできない可能性がある。タスクグラデーションを用いたメタラーニング(MLTI)により,タスクのペアをランダムにサンプリングし,対応する特徴やラベルを補間することにより,タスクを効果的に生成する。実証的な実験では,提案する汎用MLTIフレームワークが代表的なメタ学習アルゴリズムと互換性があり,他の最先端戦略を一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-06-04T20:15:34Z)
Generalization of Model-Agnostic Meta-Learning Algorithms: Recurring and Unseen Tasks [33.055672018805645]
教師付き学習問題に対するモデル非依存メタラーニング(MAML)アルゴリズムの一般化特性について検討する。我々の証明手法はアルゴリズムの安定性と一般化境界との接続に依存している。
論文参考訳（メタデータ） (2021-02-07T16:16:23Z)
Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
論文参考訳（メタデータ） (2020-09-07T16:47:30Z)
Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。 MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文参考訳（メタデータ） (2020-07-26T01:50:42Z)
PACOH: Bayes-Optimal Meta-Learning with PAC-Guarantees [77.67258935234403]
PAC-Bayesianフレームワークを用いた理論的解析を行い、メタ学習のための新しい一般化境界を導出する。我々は、性能保証と原則付きメタレベル正規化を備えたPAC最適メタ学習アルゴリズムのクラスを開発する。
論文参考訳（メタデータ） (2020-02-13T15:01:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。