Fugu-MT 論文翻訳(概要): Generalization Bounds for Deep Transfer Learning Using Majority Predictor Accuracy

論文の概要: Generalization Bounds for Deep Transfer Learning Using Majority Predictor Accuracy

arxiv url: http://arxiv.org/abs/2209.05709v1
Date: Tue, 13 Sep 2022 03:38:25 GMT
ステータス: 処理完了
システム内更新日: 2022-09-14 12:24:16.838812
Title: Generalization Bounds for Deep Transfer Learning Using Majority Predictor Accuracy
Title（参考訳）: majority predictor accuracy を用いた深層伝達学習のための一般化境界
Authors: Cuong N.Nguyen, Lam Si Tung Ho, Vu Dinh, Tal Hassner, Cuong V.Nguyen
Abstract要約: 我々は、ソースからターゲットタスクへの変換学習によって訓練されたディープラーニングモデルに対する新しい一般化境界を解析する。我々のバウンダリは、データから効率的に計算できる「多数予測器の精度」と呼ばれる量を利用する。
参考スコア（独自算出の注目度）: 20.00509250842679
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We analyze new generalization bounds for deep learning models trained by transfer learning from a source to a target task. Our bounds utilize a quantity called the majority predictor accuracy, which can be computed efficiently from data. We show that our theory is useful in practice since it implies that the majority predictor accuracy can be used as a transferability measure, a fact that is also validated by our experiments.
Abstract（参考訳）: ソースから対象タスクに学習を転送して学習する深層学習モデルの新たな一般化境界を分析する。我々の境界は、データから効率的に計算できるマジョリティ予測精度と呼ばれる量を利用する。本理論は, 計算精度の大多数が伝達可能性尺度として使用可能であることを示すため, 実験によって検証される事実として有用であることを示す。

関連論文リスト

Trans-Glasso: A Transfer Learning Approach to Precision Matrix Estimation [30.82913179485628]
精度行列推定のための2段階変換学習法であるTrans-Glassoを提案する。本研究では,Trans-Glassoが特定の条件下での最小最適性を実現することを示す。我々はTrans-Glassoを様々ながんサブタイプのための脳組織およびタンパク質ネットワークにまたがる遺伝子ネットワークに適用する際の有効性を検証する。
論文参考訳（メタデータ） (2024-11-23T18:30:56Z)
What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文参考訳（メタデータ） (2024-11-12T09:52:40Z)
Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
本稿では,SNGPの正規化に基づく連続学習手法を提案する。提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
論文参考訳（メタデータ） (2024-03-18T17:05:24Z)
Natural Language Processing Through Transfer Learning: A Case Study on Sentiment Analysis [1.14219428942199]
本稿では,感情分析を中心に自然言語処理における伝達学習の可能性について考察する。その主張は、スクラッチからのトレーニングモデルと比較して、事前訓練されたBERTモデルを使用したトランスファーラーニングは、感情分類の精度を向上できるというものである。
論文参考訳（メタデータ） (2023-11-28T17:12:06Z)
Estimation and inference for transfer learning with high-dimensional quantile regression [3.4510296013600374]
本研究では,高次元量子レグレッションモデルの枠組みにおける伝達学習手法を提案する。我々は、微妙に選択された転送可能なソースドメインに基づいて、転送学習推定器の誤差境界を確立する。データ分割手法を採用することにより、負の転送を回避できる転送可能性検出手法を提案する。
論文参考訳（メタデータ） (2022-11-26T14:40:19Z)
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文参考訳（メタデータ） (2022-02-22T02:51:11Z)
Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文参考訳（メタデータ） (2022-01-11T23:01:12Z)
Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文参考訳（メタデータ） (2021-11-24T06:18:32Z)
Measuring Generalization with Optimal Transport [111.29415509046886]
我々は、マージンを最適輸送コストで正規化する、マージンベースの一般化境界を開発する。我々の境界は、大規模データセット上でトレーニングデータとネットワークパラメータを与えられた一般化誤差を強く予測する。
論文参考訳（メタデータ） (2021-06-07T03:04:59Z)
Transfer Learning under High-dimensional Generalized Linear Models [7.675822266933702]
本研究では,高次元一般化線形モデルによる伝達学習問題について検討する。オラクルアルゴリズムを提案し,その$ell$-estimationエラー境界を導出する。どのソースを転送すべきかわからない場合には、アルゴリズム無しで転送可能なソース検出手法を導入します。
論文参考訳（メタデータ） (2021-05-29T15:39:43Z)
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文参考訳（メタデータ） (2021-04-11T09:50:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。