論文の概要: Deep Reference Priors: What is the best way to pretrain a model?

• arxiv url: http://arxiv.org/abs/2202.00187v1
• Date: Tue, 1 Feb 2022 02:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 00:30:22.774672
• Title: Deep Reference Priors: What is the best way to pretrain a model?
• Title（参考訳）: Deep Reference Priors: モデルを事前トレーニングする最善の方法は何か?
• Authors: Yansong Gao, Rahul Ramesh, Pratik Chaudhari
• Abstract要約: 本稿では,参照先行理論を用いて疑問を定式化する。 参照先は、タスクとモデルの間の相互情報を最大化する客観的で非形式的ベイズ事前である。 本稿では,中規模深層ネットワークと画像ベースデータを対象とした参照先行の実証実験について述べる。
• 参考スコア（独自算出の注目度）: 27.705359364301458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What is the best way to exploit extra data -- be it unlabeled data from the same task, or labeled data from a related task -- to learn a given task? This paper formalizes the question using the theory of reference priors. Reference priors are objective, uninformative Bayesian priors that maximize the mutual information between the task and the weights of the model. Such priors enable the task to maximally affect the Bayesian posterior, e.g., reference priors depend upon the number of samples available for learning the task and for very small sample sizes, the prior puts more probability mass on low-complexity models in the hypothesis space. This paper presents the first demonstration of reference priors for medium-scale deep networks and image-based data. We develop generalizations of reference priors and demonstrate applications to two problems. First, by using unlabeled data to compute the reference prior, we develop new Bayesian semi-supervised learning methods that remain effective even with very few samples per class. Second, by using labeled data from the source task to compute the reference prior, we develop a new pretraining method for transfer learning that allows data from the target task to maximally affect the Bayesian posterior. Empirical validation of these methods is conducted on image classification datasets.
• Abstract（参考訳）: 特定のタスクを学習するために、同じタスクからラベルなしのデータや、関連するタスクからのラベル付きデータといった、余分なデータを利用する最善の方法は何か? 本稿では,参照優先理論を用いて質問を形式化する。 参照優先事項は客観的であり、モデルのタスクと重み付けの間の相互情報を最大化する非変形ベイズ優先事項である。 このような事前は、タスクがベイズ後部に与える影響を最大化することができる、例えば、参照先行はタスクを学習するのに利用可能なサンプルの数に依存し、非常に小さなサンプルサイズの場合、前者は仮説空間の低複雑さモデルにより多くの確率質量を与える。 本稿では,中規模深層ネットワークと画像ベースデータの参照優先性を示す最初の例を示す。 我々は、参照優先の一般化を開発し、2つの問題への応用を実証する。 まず,ラベルなしのデータを用いて参照を事前に計算することにより,クラス毎のサンプル数が少ない場合でも有効なベイズ型半教師付き学習手法を新たに開発する。 第2に、ソースタスクからのラベル付きデータを用いて参照先を計算し、ターゲットタスクからのデータをベイズ後方に最大に影響を及ぼすような転送学習のための新しい事前学習手法を開発する。 これらの手法の実証検証は画像分類データセット上で行われる。

関連論文リスト

• Data Adaptive Traceback for Vision-Language Foundation Models in Image Classification [34.37262622415682]
  我々はData Adaptive Tracebackと呼ばれる新しい適応フレームワークを提案する。 具体的には、ゼロショット法を用いて、事前学習データの最もダウンストリームなタスク関連サブセットを抽出する。 我々は、擬似ラベルに基づく半教師付き手法を採用し、事前学習画像の再利用と、半教師付き学習における確証バイアス問題に対処するための視覚言語コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-07-11T18:01:58Z)
• Dense Retrieval with Continuous Explicit Feedback for Systematic Review Screening Prioritisation [28.80089773616623]
  体系的なレビューにおいて優先順位付けをスクリーニングする目的は、関連文書を高いリコールで識別し、レビューの早い段階でランク付けすることである。 近年の研究では、ニューラルモデルがこのタスクに有意なポテンシャルがあることが示されているが、それらの時間を要する微調整と推論は、優先順位付けのスクリーニングに広く使用されることを妨げている。 ニューラルモデルに引き続き依存する代替アプローチを提案するが、高密度表現と関連フィードバックを活用してスクリーニングの優先順位付けを強化する。
  論文  参考訳（メタデータ） (2024-06-30T09:25:42Z)
• Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported [4.453137996095194]
  転送学習と5つのデータセットにまたがるソースタスクの事前情報とを比較検討する。 クラス毎の5-300例のシナリオでは、2つのデータセットに対して負あるいは無視的なゲイン、他の2つのデータセットでは控えめなゲイン、ひとつのデータセットでは実質的なゲインが見られます。
  論文  参考訳（メタデータ） (2024-05-24T14:12:23Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Unified Pretraining for Recommendation via Task Hypergraphs [55.98773629788986]
  本稿では,タスクハイパーグラフによる推薦のための統一事前学習という,新しいマルチタスク事前学習フレームワークを提案する。 多様なプレテキストタスクの要求やニュアンスを処理するための統一学習パターンとして,プレテキストタスクをハイパーエッジ予測に一般化するタスクハイパーグラフを設計する。 各プレテキストタスクとレコメンデーションの関連性を識別的に学習するために、新しいトランジショナルアテンション層が考案される。
  論文  参考訳（メタデータ） (2023-10-20T05:33:21Z)
• Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
  本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。 PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。 実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
  論文  参考訳（メタデータ） (2023-10-16T13:59:56Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
  事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。 そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。 提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
  論文  参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。