論文の概要: MGit: A Model Versioning and Management System

• arxiv url: http://arxiv.org/abs/2307.07507v1
• Date: Fri, 14 Jul 2023 17:56:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-17 13:04:02.759780
• Title: MGit: A Model Versioning and Management System
• Title（参考訳）: MGit: モデルバージョニングと管理システム
• Authors: Wei Hao and Daniel Mendoza and Rafael da Silva and Deepak Narayanan and Amar Phanishaye
• Abstract要約: MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。 MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
• 参考スコア（独自算出の注目度）: 7.2678752235785735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models derived from other models are extremely common in machine learning (ML) today. For example, transfer learning is used to create task-specific models from "pre-trained" models through finetuning. This has led to an ecosystem where models are related to each other, sharing structure and often even parameter values. However, it is hard to manage these model derivatives: the storage overhead of storing all derived models quickly becomes onerous, prompting users to get rid of intermediate models that might be useful for further analysis. Additionally, undesired behaviors in models are hard to track down (e.g., is a bug inherited from an upstream model?). In this paper, we propose a model versioning and management system called MGit that makes it easier to store, test, update, and collaborate on model derivatives. MGit introduces a lineage graph that records provenance and versioning information between models, optimizations to efficiently store model parameters, as well as abstractions over this lineage graph that facilitate relevant testing, updating and collaboration functionality. MGit is able to reduce the lineage graph's storage footprint by up to 7x and automatically update downstream models in response to updates to upstream models.
• Abstract（参考訳）: 機械学習(ml)では、他のモデルから派生したモデルが極めて一般的である。 例えば、転送学習は、微調整によって"事前訓練"モデルからタスク固有のモデルを作成するために使用される。 これはモデルが相互に関連し、構造を共有し、しばしばパラメータ値を共有するエコシステムにつながった。 しかし、これらのモデルデリバティブを管理することは困難であり、すべての派生モデルを保存するストレージオーバーヘッドは、すぐに面倒になるため、ユーザーはさらなる分析に役立つ可能性のある中間モデルを取り除くことができる。 さらに、モデル内の望ましくない動作は追跡が難しい(例えば、上流モデルからバグが継承されているか? 本稿では,モデルデリバティブの保存,テスト,更新,コラボレーションを容易にするMGitと呼ばれるモデルバージョン管理システムを提案する。 MGitは、モデル間の実績とバージョニング情報を記録するライングラフ、モデルパラメータを効率的に保存する最適化、関連するテスト、更新、コラボレーション機能を容易にするこのライングラフの抽象化を導入している。 MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、上流モデルの更新に応じて、下流モデルを自動的に更新する。

関連論文リスト

• Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
  本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。 モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。 我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
  論文  参考訳（メタデータ） (2024-10-16T14:29:29Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• MUSCLE: A Model Update Strategy for Compatible LLM Evolution [29.032461144831053]
  大きな言語モデル(LLM)は定期的に更新され、パフォーマンスが向上する。 あるモデルバージョンから別のモデルバージョンへのパフォーマンスのインスタンスレベルの低下(インスタンス回帰)は、特定の言語モデルの能力に関するユーザのメンタルモデルに干渉する可能性がある。 モデル更新におけるインスタンス回帰の程度を最小化するためのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-12T17:12:48Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Foundational GPT Model for MEG [3.524869467682149]
  本研究では,脳信号の予測を用いて学習可能な2種類のディープラーニング基礎モデルを提案する。 まず、改良されたWavenetを検討し、次に、改良されたTransformer-based (GPT2)モデルを検討する。 我々は,これらのディープラーニングモデルの性能を,MEGデータに基づく標準的な線形自己回帰(AR)モデルと比較する。
  論文  参考訳（メタデータ） (2024-04-14T13:48:24Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Self-Updating Models with Error Remediation [0.5156484100374059]
  我々は、デプロイされたモデルが新しいデータが利用可能になると、自身を更新するフレームワーク、Self-Updating Models with Error Remediation (SUMER)を提案する。 SUMERの重要な構成要素は、自己ラベル付きデータがエラーの伝播に影響を受けやすいため、エラー修正の概念である。 自己更新モデル(Self-updating Model, SUM)は, 前例のない追加データを提示しても, 自己更新を行おうとしないモデルよりも, 一般的に優れている。
  論文  参考訳（メタデータ） (2020-05-19T23:09:38Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。