論文の概要: Adjusting Pretrained Backbones for Performativity
- arxiv url: http://arxiv.org/abs/2410.04499v1
- Date: Sun, 6 Oct 2024 14:41:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 07:06:24.873909
- Title: Adjusting Pretrained Backbones for Performativity
- Title（参考訳）: 順応性を考慮したプレトレーニングバックボーンの調整
- Authors: Berker Demirel, Lingjing Kong, Kun Zhang, Theofanis Karaletsos, Celestine Mendler-Dünner, Francesco Locatello,
- Abstract要約: 本稿では,事前学習したバックボーンをモジュラー方式で演奏性に適応させる新しい手法を提案する。
再学習軌道に沿った損失を減らし、候補モデルの中から効果的に選択し、性能劣化を予測できることを示す。
- 参考スコア（独自算出の注目度）: 34.390793811659556
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: With the widespread deployment of deep learning models, they influence their environment in various ways. The induced distribution shifts can lead to unexpected performance degradation in deployed models. Existing methods to anticipate performativity typically incorporate information about the deployed model into the feature vector when predicting future outcomes. While enjoying appealing theoretical properties, modifying the input dimension of the prediction task is often not practical. To address this, we propose a novel technique to adjust pretrained backbones for performativity in a modular way, achieving better sample efficiency and enabling the reuse of existing deep learning assets. Focusing on performative label shift, the key idea is to train a shallow adapter module to perform a Bayes-optimal label shift correction to the backbone's logits given a sufficient statistic of the model to be deployed. As such, our framework decouples the construction of input-specific feature embeddings from the mechanism governing performativity. Motivated by dynamic benchmarking as a use-case, we evaluate our approach under adversarial sampling, for vision and language tasks. We show how it leads to smaller loss along the retraining trajectory and enables us to effectively select among candidate models to anticipate performance degradations. More broadly, our work provides a first baseline for addressing performativity in deep learning.
- Abstract（参考訳）: ディープラーニングモデルの広範な展開により、彼らは様々な方法で環境に影響を与える。
誘導された分散シフトは、デプロイされたモデルで予期せぬパフォーマンス劣化を引き起こす可能性がある。
パフォーマンスを予想する既存の方法は、将来の成果を予測する際に、デプロイされたモデルに関する情報を特徴ベクトルに組み込むのが一般的である。
魅力的な理論的性質を楽しみながら、予測タスクの入力次元を変更することは、しばしば実用的ではない。
そこで本研究では,事前学習したバックボーンをモジュール方式で調整し,サンプル効率を向上し,既存のディープラーニング資産の再利用を可能にする手法を提案する。
性能上のラベルシフトに注目して、重要なアイデアは、デプロイされるモデルの十分な統計量を得たバックボーンのロジットにベイズ最適ラベルシフト修正を実行するために、浅いアダプタモジュールをトレーニングすることである。
そのため,本フレームワークは,動作性を管理するメカニズムから,入力固有の特徴埋め込みの構築を分離する。
動的ベンチマークを応用として,視覚・言語タスクの逆サンプリングによるアプローチの評価を行った。
再学習軌道に沿った損失を減らし、候補モデルの中から効果的に選択し、性能劣化を予測できることを示す。
より広範に、私たちの研究は、ディープラーニングにおけるパフォーマンスに対処するための最初のベースラインを提供します。
関連論文リスト
- Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。
本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。
適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
論文 参考訳（メタデータ） (2024-09-02T22:35:03Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。
学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。
本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文 参考訳（メタデータ） (2024-07-09T15:45:04Z) - Distributionally Robust Post-hoc Classifiers under Prior Shifts [31.237674771958165]
本研究では,クラスプライヤやグループプライヤの分布の変化による変化に頑健なトレーニングモデルの問題点について検討する。
本稿では,事前学習モデルからの予測に対するスケーリング調整を行う,非常に軽量なポストホック手法を提案する。
論文 参考訳（メタデータ） (2023-09-16T00:54:57Z) - Building Resilience to Out-of-Distribution Visual Data via Input
Optimization and Model Finetuning [13.804184845195296]
本稿では,特定の目標視モデルに対する入力データを最適化する前処理モデルを提案する。
自律走行車におけるセマンティックセグメンテーションの文脈におけるアウト・オブ・ディストリビューションシナリオについて検討する。
提案手法により, 微調整モデルに匹敵するデータの性能を実現できることを示す。
論文 参考訳（メタデータ） (2022-11-29T14:06:35Z) - Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。
画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
論文 参考訳（メタデータ） (2022-09-30T02:25:12Z) - Improved Fine-tuning by Leveraging Pre-training Data: Theory and
Practice [52.11183787786718]
対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。
近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。
本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
論文 参考訳（メタデータ） (2021-11-24T06:18:32Z) - Few-shot learning with improved local representations via bias rectify
module [13.230636224045137]
本稿では,特徴表現の構造に存在する空間情報を完全に活用するために,DBRN(Deep Bias Rectify Network)を提案する。
バイアス修正モジュールは、異なる重みを付与することによって、分類においてより差別的な特徴に焦点を合わせることができる。
トレーニングデータを完全に活用するために,我々は,サポートセットから生成されたプロトタイプをより代表的なものにするためのプロトタイプ拡張機構を設計する。
論文 参考訳（メタデータ） (2021-11-01T08:08:00Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳（メタデータ） (2021-09-03T14:29:20Z) - On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文 参考訳（メタデータ） (2020-10-24T04:30:02Z) - Manifold attack [0.22419496088582863]
本稿では,元データから潜在表現への多様体保存(manifold learning)を強制する。
正則化のアプローチは,正則化の精度向上と,逆例の堅牢性に寄与することを示す。
論文 参考訳（メタデータ） (2020-09-13T09:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。