論文の概要: MGit: A Model Versioning and Management System
- arxiv url: http://arxiv.org/abs/2307.07507v1
- Date: Fri, 14 Jul 2023 17:56:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-17 13:04:02.759780
- Title: MGit: A Model Versioning and Management System
- Title(参考訳): MGit: モデルバージョニングと管理システム
- Authors: Wei Hao and Daniel Mendoza and Rafael da Silva and Deepak Narayanan
and Amar Phanishaye
- Abstract要約: MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。
MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
- 参考スコア(独自算出の注目度): 7.2678752235785735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Models derived from other models are extremely common in machine learning
(ML) today. For example, transfer learning is used to create task-specific
models from "pre-trained" models through finetuning. This has led to an
ecosystem where models are related to each other, sharing structure and often
even parameter values. However, it is hard to manage these model derivatives:
the storage overhead of storing all derived models quickly becomes onerous,
prompting users to get rid of intermediate models that might be useful for
further analysis. Additionally, undesired behaviors in models are hard to track
down (e.g., is a bug inherited from an upstream model?). In this paper, we
propose a model versioning and management system called MGit that makes it
easier to store, test, update, and collaborate on model derivatives. MGit
introduces a lineage graph that records provenance and versioning information
between models, optimizations to efficiently store model parameters, as well as
abstractions over this lineage graph that facilitate relevant testing, updating
and collaboration functionality. MGit is able to reduce the lineage graph's
storage footprint by up to 7x and automatically update downstream models in
response to updates to upstream models.
- Abstract(参考訳): 機械学習(ml)では、他のモデルから派生したモデルが極めて一般的である。
例えば、転送学習は、微調整によって"事前訓練"モデルからタスク固有のモデルを作成するために使用される。
これはモデルが相互に関連し、構造を共有し、しばしばパラメータ値を共有するエコシステムにつながった。
しかし、これらのモデルデリバティブを管理することは困難であり、すべての派生モデルを保存するストレージオーバーヘッドは、すぐに面倒になるため、ユーザーはさらなる分析に役立つ可能性のある中間モデルを取り除くことができる。
さらに、モデル内の望ましくない動作は追跡が難しい(例えば、上流モデルからバグが継承されているか?
本稿では,モデルデリバティブの保存,テスト,更新,コラボレーションを容易にするMGitと呼ばれるモデルバージョン管理システムを提案する。
MGitは、モデル間の実績とバージョニング情報を記録するライングラフ、モデルパラメータを効率的に保存する最適化、関連するテスト、更新、コラボレーション機能を容易にするこのライングラフの抽象化を導入している。
MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、上流モデルの更新に応じて、下流モデルを自動的に更新する。
関連論文リスト
- Model Lakes [22.717104096113637]
ディープラーニングモデルのセットを考えると、タスクに適したモデルを見つけるのは難しいかもしれません。
データレイクの研究からヒントを得て、モデルレイクの概念を導入し、定義する。
大型モデル管理における基礎研究課題について論じる。
論文 参考訳(メタデータ) (2024-03-04T18:55:50Z) - Earning Extra Performance from Restrictive Feedbacks [41.05874087063763]
モデルチューニング問題の形式を記述するために,rerestriCTive feeddbacks (EXPECTED) から emphEarning eXtra PerformancE という課題を設定した。
モデルプロバイダの目標は、最終的にフィードバックを利用することで、ローカルユーザに対して満足のいくモデルを提供することです。
本稿では,パラメータ分布を探索し,モデルパラメータに関するモデル性能の幾何を特徴付けることを提案する。
論文 参考訳(メタデータ) (2023-04-28T13:16:54Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Revealing Secrets From Pre-trained Models [2.0249686991196123]
トランスファーラーニングは多くの新しいディープラーニングアルゴリズムで広く採用されている。
本研究では,事前学習モデルと微調整モデルが重み値に非常によく似ていることを示す。
ブラックボックスの被害者モデルで使用されるモデルアーキテクチャと事前訓練モデルを明らかにするモデル抽出攻撃を提案する。
論文 参考訳(メタデータ) (2022-07-19T20:19:03Z) - Re-parameterizing Your Optimizers rather than Architectures [119.08740698936633]
本稿では,モデル固有の事前知識を構造学に取り入れ,汎用モデル(簡易モデル)の学習に使用する新しいパラダイムを提案する。
実装として,モデル固有のハイパーパラメータの集合に従って勾配を変更することによって,事前知識を付加する手法を提案する。
Reprでトレーニングされた単純なモデルに対しては、VGGスタイルのプレーンモデルに注目し、ReprでトレーニングされたそのようなシンプルなモデルがRep-VGGと呼ばれ、最近のよく設計されたモデルと同等に動作することを示す。
論文 参考訳(メタデータ) (2022-05-30T16:55:59Z) - Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。
我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。
結果のアルゴリズム(MnM)は概念的にはGANと似ている。
論文 参考訳(メタデータ) (2021-10-06T13:43:27Z) - Self-Updating Models with Error Remediation [0.5156484100374059]
我々は、デプロイされたモデルが新しいデータが利用可能になると、自身を更新するフレームワーク、Self-Updating Models with Error Remediation (SUMER)を提案する。
SUMERの重要な構成要素は、自己ラベル付きデータがエラーの伝播に影響を受けやすいため、エラー修正の概念である。
自己更新モデル(Self-updating Model, SUM)は, 前例のない追加データを提示しても, 自己更新を行おうとしないモデルよりも, 一般的に優れている。
論文 参考訳(メタデータ) (2020-05-19T23:09:38Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳(メタデータ) (2020-05-01T18:56:18Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳(メタデータ) (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。