論文の概要: Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes

• arxiv url: http://arxiv.org/abs/2211.13638v1
• Date: Thu, 24 Nov 2022 14:38:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-28 14:48:58.191756
• Title: Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
• Title（参考訳）: プロトタイプファインチューニング - 可変データサイズ下でのロバストなパフォーマンスを目指して
• Authors: Yiqiao Jin, Xiting Wang, Yaru Hao, Yizhou Sun, Xing Xie
• Abstract要約: 我々は、微調整事前学習言語モデル(LM)のための新しいフレームワークを提案する。 提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。
• 参考スコア（独自算出の注目度）: 47.880781811936345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we move towards combining large parametric models with non-parametric prototypical networks. We propose prototypical fine-tuning, a novel prototypical framework for fine-tuning pretrained language models (LM), which automatically learns a bias to improve predictive performance for varying data sizes, especially low-resource settings. Our prototypical fine-tuning approach can automatically adjust the model capacity according to the number of data points and the model's inherent attributes. Moreover, we propose four principles for effective prototype fine-tuning towards the optimal solution. Experimental results across various datasets show that our work achieves significant performance improvements under various low-resource settings, as well as comparable and usually better performances in high-resource scenarios.
• Abstract（参考訳）: 本稿では,大規模パラメトリックモデルと非パラメトリック型ネットワークを組み合わせることを目指す。 本稿では,データサイズ,特に低リソース設定の予測性能を改善するために,バイアスを自動的に学習するプリトレーニング言語モデル(lm)のための新しいプロトタイピングフレームワークであるprototypical fine-tuningを提案する。 提案手法は,データポイント数やモデル固有の属性に応じて,モデルキャパシティを自動的に調整することができる。 さらに, 最適解に対する効率的なプロトタイプ微調整のための4つの原理を提案する。 各種データセットに対する実験結果から,低リソース環境下での作業の大幅なパフォーマンス向上と,高リソース環境での性能向上が期待できる。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• Under the Hood of Tabular Data Generation Models: the Strong Impact of Hyperparameter Tuning [2.5168710814072894]
  本研究では,モデル統合評価の実践的ニーズに対処する。 高速な最適化を実現するために,各モデルに対する探索空間の削減を提案する。 ほとんどのモデルでは、データセット固有の大規模チューニングによって、オリジナルの構成よりもパフォーマンスが大幅に向上する。
  論文  参考訳（メタデータ） (2024-06-18T07:27:38Z)
• Feature Protection For Out-of-distribution Generalization [24.072876186625855]
  事前訓練された特徴の保護は、より厳密に調整されたモデルが一般化に結びつくことを示す。 事前訓練された特徴の保護は,OODの一般化に対してより堅牢な微調整モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-05-25T03:00:06Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• E^2VPT: An Effective and Efficient Approach for Visual Prompt Tuning [55.50908600818483]
  新しいタスクのための微調整された大規模な事前学習型ビジョンモデルは、パラメーター集約化が進んでいる。 本稿では,大規模なトランスフォーマーモデル適応のための効果的かつ効率的なビジュアルプロンプトチューニング(E2VPT)手法を提案する。 提案手法は2つのベンチマークにおいて,最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-07-25T19:03:21Z)
• Performance Scaling via Optimal Transport: Enabling Data Selection from Partially Revealed Sources [9.359395812292291]
  本稿では,モデル性能を予測し,将来的なデータソースの部分的なサンプルに基づいたデータ選択決定を支援する or> というフレームワークを提案する。 or> 既存のパフォーマンススケーリングアプローチを大幅に改善し,性能予測の精度と,性能構築に伴う計算コストを両立させる。 また,他の市販ソリューションと比較して,データ選択効率の差は広い。
  論文  参考訳（メタデータ） (2023-07-05T17:33:41Z)
• Building Resilience to Out-of-Distribution Visual Data via Input Optimization and Model Finetuning [13.804184845195296]
  本稿では,特定の目標視モデルに対する入力データを最適化する前処理モデルを提案する。 自律走行車におけるセマンティックセグメンテーションの文脈におけるアウト・オブ・ディストリビューションシナリオについて検討する。 提案手法により, 微調整モデルに匹敵するデータの性能を実現できることを示す。
  論文  参考訳（メタデータ） (2022-11-29T14:06:35Z)
• Investigating Ensemble Methods for Model Robustness Improvement of Text Classifiers [66.36045164286854]
  既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。 適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
  論文  参考訳（メタデータ） (2022-10-28T17:52:10Z)
• Model ensemble instead of prompt fusion: a sample-specific knowledge transfer method for few-shot prompt tuning [85.55727213502402]
  我々は、ソースタスクのソフトプロンプトから知識を伝達することで、プロンプトチューニングにおける数ショットのパフォーマンスを改善することに集中する。 我々はソースモデル(SESoM)のサンプル固有アンサンブルを提案する。 SESoMは、ソースモデルが出力されるときに、ターゲットの各サンプルに対するソースモデルのコントリビューションを個別に調整することを学ぶ。
  論文  参考訳（メタデータ） (2022-10-23T01:33:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。