論文の概要: Predicting the Performance of Foundation Models via Agreement-on-the-Line
- arxiv url: http://arxiv.org/abs/2404.01542v1
- Date: Tue, 2 Apr 2024 00:54:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 18:27:47.626800
- Title: Predicting the Performance of Foundation Models via Agreement-on-the-Line
- Title（参考訳）: 合意書による基礎モデルの性能予測
- Authors: Aman Mehra, Rahul Saxena, Taeyoun Kim, Christina Baek, Zico Kolter, Aditi Raghunathan,
- Abstract要約: 我々は、異なるデータセットで事前訓練された基礎モデルのアンサンブルが、ライン上での合意を示すことも示している。
多様なアンサンブルを慎重に構築することにより,高精度な基礎モデルのOOD性能を予測するために,コンセンサス・オン・ザ・ライン方式を用いることができる。
- 参考スコア（独自算出の注目度）: 15.835545735596087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Estimating the out-of-distribution performance in regimes where labels are scarce is critical to safely deploy foundation models. Recently, it was shown that ensembles of neural networks observe the phenomena ``agreement-on-the-line'', which can be leveraged to reliably predict OOD performance without labels. However, in contrast to classical neural networks that are trained on in-distribution data from scratch for numerous epochs, foundation models undergo minimal finetuning from heavily pretrained weights, which may reduce the ensemble diversity needed to observe agreement-on-the-line. In our work, we demonstrate that when lightly finetuning multiple runs from a $\textit{single}$ foundation model, the choice of randomness during training (linear head initialization, data ordering, and data subsetting) can lead to drastically different levels of agreement-on-the-line in the resulting ensemble. Surprisingly, only random head initialization is able to reliably induce agreement-on-the-line in finetuned foundation models across vision and language benchmarks. Second, we demonstrate that ensembles of $\textit{multiple}$ foundation models pretrained on different datasets but finetuned on the same task can also show agreement-on-the-line. In total, by careful construction of a diverse ensemble, we can utilize agreement-on-the-line-based methods to predict the OOD performance of foundation models with high precision.
- Abstract（参考訳）: ラベルが不足しているレジームにおけるアウト・オブ・ディストリビューションのパフォーマンスを見積もるのは、ファンデーションモデルを安全にデプロイする上で非常に重要です。
近年、ニューラルネットワークのアンサンブルが'agreement-on-the-line'という現象を観測し、ラベルなしでOOD性能を確実に予測できることを示した。
しかし、多くのエポックにおいて、スクラッチから分配データに基づいて訓練された古典的ニューラルネットワークとは対照的に、基礎モデルは、事前訓練された重みから最小限の微調整を受けており、コンセンサス・オン・ザ・ラインの観測に必要なアンサンブルの多様性を低下させる可能性がある。
我々の研究は、$\textit{single}$ファンデーションモデルから複数の実行を軽く微調整する場合、トレーニング中のランダム性の選択(線形ヘッドの初期化、データ順序付け、データサブセット)は、結果として得られるアンサンブルにおいて、劇的に異なるレベルの合意をもたらすことを実証している。
驚くべきことに、視覚と言語ベンチマークをまたいだ微調整された基礎モデルにおいて、ランダムな頭初期化だけが確実に一致を誘導することができる。
第2に、異なるデータセットで事前訓練されているが、同じタスクで微調整された、$\textit{multiple}$ファンデーションモデルのアンサンブルも、ライン上での合意を示すことができることを示す。
総じて、多様なアンサンブルを慎重に構築することにより、高精度な基礎モデルのOOD性能を予測するために、ライン・オン・ザ・ライン・ベースの手法を利用できる。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。
データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
論文 参考訳（メタデータ） (2024-07-26T10:49:14Z) - Collaborative decoding of critical tokens for boosting factuality of
large language models [57.504894664689]
微調整および整列モデルでは、命令追従と安全な生成の能力が改善されている。
世代ごとのサンプリングの一般的な実践は、幻覚の確率を増大させる。
我々は、クリティカルトークンの概念を通じて、事前訓練されたモデル内の高い事実性を活用するための協調的復号化フレームワークを導入する。
論文 参考訳（メタデータ） (2024-02-28T01:53:37Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Robust Fine-Tuning of Vision-Language Models for Domain Generalization [6.7181844004432385]
ファンデーションモデルは、分散シフトの下で、印象的なゼロショット推論能力とロバスト性を持っている。
一般的な視覚言語基盤モデルCLIPの微調整のための新しいレシピを提案する。
私たちの実験では、ゼロショットCLIPは、より複雑なベンチマークでトレーニング済みのビジョンモデルのパフォーマンスと一致しないが、少数ショットCLIPの微調整は、ビジョンのみのパフォーマンスよりも優れていることを示した。
論文 参考訳（メタデータ） (2023-11-03T20:50:40Z) - Sequential Ensembling for Semantic Segmentation [4.030520171276982]
我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。
そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
論文 参考訳（メタデータ） (2022-10-08T22:13:59Z) - How to Combine Variational Bayesian Networks in Federated Learning [0.0]
フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。
決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。
変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
論文 参考訳（メタデータ） (2022-06-22T07:53:12Z) - End-to-End Weak Supervision [15.125993628007972]
下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。
下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
論文 参考訳（メタデータ） (2021-07-05T19:10:11Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-04T18:03:31Z) - Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。
プレトレーニング自体が多様性の優れた源であることが示される。
本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-14T07:59:00Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。