論文の概要: Model Diffusion for Certifiable Few-shot Transfer Learning

• arxiv url: http://arxiv.org/abs/2502.06970v1
• Date: Mon, 10 Feb 2025 19:11:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:09.107126
• Title: Model Diffusion for Certifiable Few-shot Transfer Learning
• Title（参考訳）: ファウショット変換学習のためのモデル拡散
• Authors: Fady Rezk, Royson Lee, Henry Gouk, Timothy Hospedales, Minyoung Kim,
• Abstract要約: 大規模ディープラーニングにおいて、低データ問題を解決するための一般的な効果的なワークフローは、パラメータ効率の微調整(PEFT)を通じて、強力な事前学習基礎モデル(FM)を新しいタスクに適用することである。 実証的な効果はあるものの、結果として得られるソリューションは、その正確性を証明するための一般化保証を欠いている。 我々は,低ショット体制においても,下流タスクに対する非空き学習理論の一般化を保証するために,新しい伝達学習手法を開発した。
• 参考スコア（独自算出の注目度）: 28.810318792978762
• License:
• Abstract: In modern large-scale deep learning, a prevalent and effective workflow for solving low-data problems is adapting powerful pre-trained foundation models (FMs) to new tasks via parameter-efficient fine-tuning (PEFT). However, while empirically effective, the resulting solutions lack generalisation guarantees to certify their accuracy - which may be required for ethical or legal reasons prior to deployment in high-importance applications. In this paper we develop a novel transfer learning approach that is designed to facilitate non-vacuous learning theoretic generalisation guarantees for downstream tasks, even in the low-shot regime. Specifically, we first use upstream tasks to train a distribution over PEFT parameters. We then learn the downstream task by a sample-and-evaluate procedure -- sampling plausible PEFTs from the trained diffusion model and selecting the one with the highest likelihood on the downstream data. Crucially, this confines our model hypothesis to a finite set of PEFT samples. In contrast to learning in the typical continuous hypothesis spaces of neural network weights, this facilitates tighter risk certificates. We instantiate our bound and show non-trivial generalization guarantees compared to existing learning approaches which lead to vacuous bounds in the low-shot regime.
• Abstract（参考訳）: 現代の大規模ディープラーニングにおいて、低データ問題を解決するための一般的な効果的なワークフローは、パラメータ効率の微調整(PEFT)を通じて、強力な事前学習基礎モデル(FM)を新しいタスクに適用することである。 しかし、実証的な効果はあるものの、結果として得られるソリューションは、それらの正確性を証明するための一般化の保証を欠いている。 本稿では,低ショット体制においても,下流タスクに対する非空き学習理論の一般化を促進するために,新しい移動学習手法を開発する。 具体的には,まず上流タスクを用いてPEFTパラメータ上の分布をトレーニングする。 次に、トレーニングされた拡散モデルから可塑性PEFTをサンプリングし、下流データ上で最も高い確率で選択する、サンプル・アンド・評価手順により下流タスクを学習する。 重要なことに、これは我々のモデル仮説をPEFTサンプルの有限集合に限定する。 ニューラルネットワーク重みの典型的な連続仮説空間での学習とは対照的に、これはより厳密なリスク証明を促進する。 低ショット体制における空き境界につながる既存の学習手法と比較して、我々は限界をインスタンス化し、非自明な一般化保証を示す。

関連論文リスト

• Prompt Tuning with Diffusion for Few-Shot Pre-trained Policy Generalization [55.14484317645865]
  我々は,オフライン強化学習タスクにおいて,例外的な品質向上を促す条件拡散モデルを構築した。 本稿では,Promptディフューザがプロンプトチューニングプロセスの堅牢かつ効果的なツールであることを示し,メタRLタスクにおいて高い性能を示す。
  論文  参考訳（メタデータ） (2024-11-02T07:38:02Z)
• BoostAdapter: Improving Vision-Language Test-Time Adaptation via Regional Bootstrapping [64.8477128397529]
  本稿では,テスト時間適応フレームワークを提案する。 我々は、インスタンスに依存しない履歴サンプルとインスタンスを意識したブースティングサンプルから特徴を検索するための軽量なキー値メモリを維持している。 理論的には,本手法の背後にある合理性を正当化し,アウト・オブ・ディストリビューションとクロスドメイン・データセットの両方において,その有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2024-10-20T15:58:43Z)
• Lessons Learned from a Unifying Empirical Study of Parameter-Efficient Transfer Learning (PETL) in Visual Recognition [36.031972728327894]
  視覚変換器の文脈における代表的PETL法について検討した。 PETL法は低ショットのベンチマークVTAB-1Kでも同様の精度が得られる。 PETLは、多くのショットレシエーションでも有用であり、フルFTよりも同等で、時には精度が向上する。
  論文  参考訳（メタデータ） (2024-09-24T19:57:40Z)
• Manifold Preserving Guided Diffusion [121.97907811212123]
  条件付き画像生成は、コスト、一般化可能性、タスク固有のトレーニングの必要性といった課題に直面している。 トレーニング不要な条件生成フレームワークであるManifold Preserving Guided Diffusion (MPGD)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T02:08:06Z)
• FD-Align: Feature Discrimination Alignment for Fine-tuning Pre-Trained Models in Few-Shot Learning [21.693779973263172]
  本稿では,特徴識別アライメント(FD-Align)と呼ばれる微調整手法を提案する。 本手法は,突発的特徴の一貫性を保ち,モデルの一般化可能性を高めることを目的としている。 一度微調整すると、モデルは既存のメソッドとシームレスに統合され、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-23T17:12:01Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Adaptive Deep Learning for Entity Resolution by Risk Analysis [5.496296462160264]
  本論文では, 特定の特性によって, 対象作業負荷に対する深層モデルをチューニングする, 新たなリスクベースアプローチを提案する。 理論分析の結果,リスクに基づく適応トレーニングは,誤った予測されたインスタンスのラベル状態をかなり良い確率で修正できることがわかった。
  論文  参考訳（メタデータ） (2020-12-07T08:05:46Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。