論文の概要: SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data
- arxiv url: http://arxiv.org/abs/2210.02989v1
- Date: Thu, 6 Oct 2022 15:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 17:22:15.021820
- Title: SynBench: Task-Agnostic Benchmarking of Pretrained Representations using
Synthetic Data
- Title（参考訳）: SynBench: 合成データを用いた事前学習表現のタスク非依存ベンチマーク
- Authors: Ching-Yun Ko, Pin-Yu Chen, Jeet Mohapatra, Payel Das, Luca Daniel
- Abstract要約: 近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。
本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
- 参考スコア（独自算出の注目度）: 78.21197488065177
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent success in fine-tuning large models, that are pretrained on broad data
at scale, on downstream tasks has led to a significant paradigm shift in deep
learning, from task-centric model design to task-agnostic representation
learning and task-specific fine-tuning. As the representations of pretrained
models are used as a foundation for different downstream tasks, this paper
proposes a new task-agnostic framework, \textit{SynBench}, to measure the
quality of pretrained representations using synthetic data. We set up a
reference by a theoretically-derived robustness-accuracy tradeoff of the class
conditional Gaussian mixture. Given a pretrained model, the representations of
data synthesized from the Gaussian mixture are used to compare with our
reference to infer the quality.By comparing the ratio of area-under-curve
between the raw data and their representations, SynBench offers a quantifiable
score for robustness-accuracy performance benchmarking. Our framework applies
to a wide range of pretrained models taking continuous data inputs and is
independent of the downstream tasks and datasets. Evaluated with several
pretrained vision transformer models, the experimental results show that our
SynBench score well matches the actual linear probing performance of the
pre-trained model when fine-tuned on downstream tasks. Moreover, our framework
can be used to inform the design of robust linear probing on pretrained
representations to mitigate the robustness-accuracy tradeoff in downstream
tasks.
- Abstract（参考訳）: 近年,タスク中心のモデル設計からタスク非依存の表現学習,タスク特化の微調整に至るまで,ダウンストリームタスクにおける広範囲なデータに基づいて事前訓練された大規模モデルの開発が成功している。
本稿では, 事前学習されたモデルの表現を, 異なる下流タスクの基盤として用いるため, 合成データを用いて事前学習された表現の質を測定するための, タスクに依存しない新しいフレームワーク, \textit{SynBench}を提案する。
条件付きガウス混合のロバストネス・精度トレードオフを理論的に導いた基準を設定した。
事前学習モデルにより,ガウス混合物から合成したデータの表現を用いて,原データとそれらの表現との面積内曲線の比を比較することにより,ロバスト性・精度評価ベンチマークのための定量スコアを提供する。
我々のフレームワークは、継続的なデータ入力を受け取り、下流のタスクやデータセットとは独立している幅広い事前訓練されたモデルに適用されます。
先行学習した視覚トランスフォーマモデルを用いて評価した結果, 実験結果から, 下流タスクで微調整を行った場合, シンベンチスコアは実際の線形プロビング性能によく合っていることがわかった。
さらに,本フレームワークは,学習済み表現に対するロバスト線形プローブの設計を知らせることで,下流タスクにおけるロバスト性・正確性トレードオフを軽減することができる。
関連論文リスト
- ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Guarantee Robustness after Fine-Tuning [30.422932548359952]
我々は、新しい堅牢な微調整ベンチマーク ImageNet-RIB (Robustness Inheritance Benchmark) を導入する。
ベンチマークは関連するが、個別の(ダウンストリーム)タスクで構成されている。
連続学習法であるEWCとLwFは微調整後の堅牢性を維持していることがわかった。
論文 参考訳（メタデータ） (2024-10-28T22:33:22Z) - DaWin: Training-free Dynamic Weight Interpolation for Robust Adaptation [57.11544252399801]
本研究では,各未ラベルテストサンプルに対する個々のモデルのエントロピーを利用するトレーニングフリーな動的重み付け手法であるDaWinを提案する。
このような係数を学習するために、通常追加のトレーニングに依存する以前の作業とは異なり、我々のアプローチはトレーニングを必要としない。
その結果、DaWinは計算オーバーヘッドを最小限に抑えながら、考慮された設定で大幅なパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-10-03T16:25:35Z) - Learning Defect Prediction from Unrealistic Data [57.53586547895278]
事前訓練されたコードのモデルは、コード理解と生成タスクに人気がある。
このようなモデルは大きい傾向があり、訓練データの総量を必要とする。
人工的に注入されたバグのある関数など、はるかに大きくてもより現実的なデータセットを持つモデルをトレーニングすることが一般的になった。
このようなデータで訓練されたモデルは、実際のプログラムでは性能が劣りながら、同様のデータでのみうまく機能する傾向にある。
論文 参考訳（メタデータ） (2023-11-02T01:51:43Z) - Feedback-guided Data Synthesis for Imbalanced Classification [10.836265321046561]
有用な合成サンプルを用いて静的データセットを拡張するためのフレームワークを提案する。
サンプルはタスクの実際のデータのサポートに近づき、十分に多様であることに気付きました。
ImageNet-LTでは、表現不足のクラスでは4%以上改善され、最先端の結果が得られます。
論文 参考訳（メタデータ） (2023-09-29T21:47:57Z) - Too Fine or Too Coarse? The Goldilocks Composition of Data Complexity
for Robust Left-Right Eye-Tracking Classifiers [0.0]
我々は、細粒度データと粗粒度データの両方からなる混合データセットを用いて機械学習モデルを訓練する。
我々の目的のために、細粒度データはより複雑な方法で収集されたデータを指すのに対し、粗粒度データはより単純な方法で収集されたデータを指す。
論文 参考訳（メタデータ） (2022-08-24T23:18:08Z) - Task2Sim : Towards Effective Pre-training and Transfer from Synthetic
Data [74.66568380558172]
本稿では,グラフィックスシミュレータから下流タスクへの合成データに基づく事前学習モデルの転送可能性について検討する。
本稿では、最適なシミュレーションパラメータに対する下流タスク表現を統一したモデルマッピングであるTask2Simを紹介する。
このマッピングはトレーニングによって学習し、"見える"タスクのセットで最適なパラメータのセットを見つける。
トレーニングが完了すると、ワンショットで新しい"見えない"タスクの最適なシミュレーションパラメータを予測するために使用することができる。
論文 参考訳（メタデータ） (2021-11-30T19:25:27Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z) - Do Adversarially Robust ImageNet Models Transfer Better? [102.09335596483695]
逆向きに堅牢なモデルは、トランスファーラーニングに使用する場合、標準訓練されたモデルよりもよく機能する。
私たちの結果は、ロバストさが機能表現の改善につながるという最近の仮説と一致しています。
論文 参考訳（メタデータ） (2020-07-16T17:42:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。