論文の概要: Model Ratatouille: Recycling Diverse Models for Out-of-Distribution Generalization

• arxiv url: http://arxiv.org/abs/2212.10445v3
• Date: Wed, 9 Aug 2023 14:02:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-10 18:08:50.423701
• Title: Model Ratatouille: Recycling Diverse Models for Out-of-Distribution Generalization
• Title（参考訳）: model ratatouille: 分散一般化のための多様なモデルのリサイクル
• Authors: Alexandre Ram\'e, Kartik Ahuja, Jianyu Zhang, Matthieu Cord, L\'eon Bottou, David Lopez-Paz
• Abstract要約: ファウンデーションモデルは、AIシステムの構築方法を再定義している。実践者は、機械学習ソリューションを構築するための標準手順に従う。 我々は,多種多様な補助的タスクにおいて,同じ基礎モデルの複数の微調整をリサイクルする新しい戦略であるモデルラタトゥーイユを提案する。
• 参考スコア（独自算出の注目度）: 99.6826401545377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models are redefining how AI systems are built. Practitioners now follow a standard procedure to build their machine learning solutions: from a pre-trained foundation model, they fine-tune the weights on the target task of interest. So, the Internet is swarmed by a handful of foundation models fine-tuned on many diverse tasks: these individual fine-tunings exist in isolation without benefiting from each other. In our opinion, this is a missed opportunity, as these specialized models contain rich and diverse features. In this paper, we thus propose model ratatouille, a new strategy to recycle the multiple fine-tunings of the same foundation model on diverse auxiliary tasks. Specifically, we repurpose these auxiliary weights as initializations for multiple parallel fine-tunings on the target task; then, we average all fine-tuned weights to obtain the final model. This recycling strategy aims at maximizing the diversity in weights by leveraging the diversity in auxiliary tasks. Empirically, it improves the state of the art on the reference DomainBed benchmark for out-of-distribution generalization. Looking forward, this work contributes to the emerging paradigm of updatable machine learning where, akin to open-source software development, the community collaborates to reliably update machine learning models. Our code is released: https://github.com/facebookresearch/ModelRatatouille.
• Abstract（参考訳）: ファンデーションモデルは、AIシステムの構築方法を再定義している。 現在、実践者は機械学習ソリューションを構築するための標準的な手順に従う。事前訓練された基礎モデルから、対象とするタスクの重みを微調整する。 だからインターネットは、さまざまなタスクで微調整された一握りのファンデーションモデルによって群がっている: これらの個々の微調整は、互いに利益をもたらさずに、孤立して存在している。 当社の意見では、これらの特殊なモデルにはリッチで多様な機能が含まれています。 そこで本稿では,同一基礎モデルの複数の微調整を多様な補助タスクで再利用する新しい手法であるモデル・ラタトゥイユを提案する。 具体的には、これらの補助重みを目標タスクにおける多重並列微調整の初期化として再利用し、最終モデルを得るためにすべての微調整重みを平均化する。 このリサイクル戦略は, 補助作業の多様性を活かし, 重量の多様性を最大化することを目的としている。 経験上、分散の一般化のための参照ドメインベッドベンチマークにおける技術状態を改善する。 今後この研究は、オープンソースのソフトウェア開発と同様に、機械学習モデルを確実に更新するためにコミュニティが協力する、アップダブルな機械学習のパラダイムに寄与する。 私たちのコードはhttps://github.com/facebookresearch/modelratatouilleです。

関連論文リスト

• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Jack of All Trades, Master of Some, a Multi-Purpose Transformer Agent [2.3967405016776384]
  Jack of All Trades (JAT) は、シーケンシャルな意思決定タスクに最適化されたユニークな設計のトランスフォーマーベースのモデルである。 JATは、その種の最初のモデルはhttps://huggingface.co/jat-project/jatで完全にオープンソース化されている。
  論文  参考訳（メタデータ） (2024-02-15T10:01:55Z)
• Model Breadcrumbs: Scaling Multi-Task Model Merging with Sparse Masks [14.349517221831364]
  目標問題に対する一般的なアプローチは、特定の目標タスクに対して、訓練済みの基礎モデルを微調整することである。 本稿では,事前学習したモデルの重み空間内で軌跡を彫り出す,軽度に定義された重みの集合からなる,新しい単純な方法,Model Breadcrumbsを紹介する。 実験では,複数のタスクをまたいだ性能を同時に向上するモデルブレッドクラブの有効性を実証した。
  論文  参考訳（メタデータ） (2023-12-11T19:10:55Z)
• ZhiJian: A Unifying and Rapidly Deployable Toolbox for Pre-trained Model Reuse [59.500060790983994]
  本稿では、PyTorchバックエンドを利用して、モデル再利用のための包括的でユーザフレンドリなツールボックスであるZhiJianを紹介する。 ZhiJianは、PTMによるターゲットアーキテクチャ構築、PTMによるターゲットモデルチューニング、およびPTMに基づく推論を含む、モデル再利用に関するさまざまな視点を統一する新しいパラダイムを提示している。
  論文  参考訳（メタデータ） (2023-08-17T19:12:13Z)
• UnIVAL: Unified Model for Image, Video, Audio and Language Tasks [105.77733287326308]
  UnIVALモデルは2つのモードを超えて、テキスト、画像、ビデオ、オーディオを1つのモデルに統合する。 本モデルは,タスクバランスとマルチモーダルカリキュラム学習に基づいて,多くのタスクに対して効率的に事前学習を行う。 統一モデルにより、重み一般化によるマルチモーダルモデルの融合に関する新しい研究を提案する。
  論文  参考訳（メタデータ） (2023-07-30T09:48:36Z)
• TaCA: Upgrading Your Visual Foundation Model with Task-agnostic Compatible Adapter [21.41170708560114]
  視覚基盤モデルに基づくアプリケーションが増えている。 システムのアップグレードを伴う状況では、新しい基盤モデルに適応するために、下流モジュールを再訓練することが不可欠です。 パラメータ効率とタスク非依存のアダプタであるTaCAを導入し,異なる基礎モデル間の互換性を実現する。
  論文  参考訳（メタデータ） (2023-06-22T03:00:24Z)
• Towards Mode Balancing of Generative Models via Diversity Weights [1.2354076490479513]
  トレーニングデータセットのモードのバランスをとることで、モデルの出力の多様性を高めるトレーニングスキームであるダイバーシティウェイトを提示する。 我々は、より一般的に、生成機械学習における多様性、エクイティ、包摂性への我々のアプローチの関連と、特に計算的創造性について論じる。
  論文  参考訳（メタデータ） (2023-04-24T09:55:17Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。