論文の概要: Knowledge-Adaptation Priors

• arxiv url: http://arxiv.org/abs/2106.08769v1
• Date: Wed, 16 Jun 2021 13:27:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 00:37:50.324097
• Title: Knowledge-Adaptation Priors
• Title（参考訳）: 知識適応優先
• Authors: Mohammad Emtiyaz Khan, Siddharth Swaroop
• Abstract要約: 人間や動物は自然に環境に適応する能力を持っているが、機械学習モデルは変化を受けると、スクラッチから完全に再訓練する必要があることが多い。 我々は,多種多様なタスクやモデルに対して,迅速かつ正確な適応を可能にすることにより,再訓練のコストを削減するために,知識適応事前(K-priors)を提案する。
• 参考スコア（独自算出の注目度）: 24.0459093025458
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans and animals have a natural ability to quickly adapt to their surroundings, but machine-learning models, when subjected to changes, often require a complete retraining from scratch. We present Knowledge-adaptation priors (K-priors) to reduce the cost of retraining by enabling quick and accurate adaptation for a wide-variety of tasks and models. This is made possible by a combination of weight and function-space priors to reconstruct the gradients of the past, which recovers and generalizes many existing, but seemingly-unrelated, adaptation strategies. Training with simple first-order gradient methods can often recover the exact retrained model to an arbitrary accuracy by choosing a sufficiently large memory of the past data. Empirical results confirm that the adaptation can be cheap and accurate, and a promising alternative to retraining.
• Abstract（参考訳）: 人間や動物は自然に環境に適応する能力を持っているが、機械学習モデルは変化を受けると、スクラッチから完全に再訓練する必要があることが多い。 本稿では,様々なタスクやモデルに対して迅速かつ正確な適応を行うことにより,リトレーニングのコストを削減するkプライオリエント(k-prior)を提案する。 これは、過去の勾配を再構築するための重みと関数空間の組み合わせによって実現され、既存の、しかし、一見無関係な適応戦略を復元し一般化する。 単純な一階勾配法によるトレーニングは、過去のデータの十分な大きなメモリを選択することで、正確な再訓練されたモデルを任意の精度で復元することができる。 実験の結果、適応は安価で正確であり、再訓練に代わる有望な選択肢であることが確認された。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Why pre-training is beneficial for downstream classification tasks? [32.331679393303446]
  本稿では,ゲーム理論の新たな視点から,事前学習が下流作業に与える影響を定量的かつ明示的に説明することを提案する。 具体的には,事前学習モデルにより符号化された知識を抽出し,定量化する。 我々は、下流タスクの推測のために、少数の事前訓練されたモデルの知識しか保存されていないことを発見した。
  論文  参考訳（メタデータ） (2024-10-11T02:13:16Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Reset It and Forget It: Relearning Last-Layer Weights Improves Continual and Transfer Learning [2.270857464465579]
  この研究は、継続学習と転帰学習をより良く示す表現につながる単純な事前学習メカニズムを特定する。 最後の層における重みの繰り返しのリセットは、私たちが「ザッピング」と呼ぶもので、元々はメタコンチネンタル・ラーニング(メタコンチネンタル・ラーニング)の手順のために設計されていた。 メタラーニングと継続学習の両以上の多くの環境で驚くほど適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-12T02:52:14Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Feed-Forward Source-Free Domain Adaptation via Class Prototypes [3.5382535469099436]
  本稿では,フィードバックに基づく適応の必要性に挑戦するフィードフォワードアプローチを提案する。 提案手法は,事前学習モデルを用いて,ドメインシフト下でのクラスプロトタイプの計算に基づいている。
  論文  参考訳（メタデータ） (2023-07-20T11:36:45Z)
• Continual Learning with Pretrained Backbones by Tuning in the Input Space [44.97953547553997]
  ディープラーニングモデルを非定常環境に適用することの本質的な困難さは、ニューラルネットワークの実際のタスクへの適用性を制限している。 ネットワークの事前学習部分の更新を回避し、通常の分類ヘッドだけでなく、新たに導入した学習可能なパラメータのセットも学習することで、微調整手順をより効果的にするための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-05T15:11:59Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Friendly Training: Neural Networks Can Adapt Data To Make Learning Easier [23.886422706697882]
  フレンドリートレーニング(Friendly Training)と呼ばれる新しいトレーニング手順を提案する。 フレンドリートレーニングは、情報サブ選択とランダム選択に関して改善をもたらすことを示す。 その結果,入力データへの適応は学習を安定させ,ネットワークのスキル一般化を改善するための有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-06-21T10:50:34Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• CAT: Customized Adversarial Training for Improved Robustness [142.3480998034692]
  そこで我々は,各トレーニングサンプルに対して,摂動レベルと対応するラベルを適応的にカスタマイズする,Customized Adversarial Training (CAT) という新しいアルゴリズムを提案する。 提案アルゴリズムは,従来の逆行訓練法よりもクリーンでロバストな精度が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-17T06:13:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。