論文の概要: MUSCLE: A Model Update Strategy for Compatible LLM Evolution
- arxiv url: http://arxiv.org/abs/2407.09435v1
- Date: Fri, 12 Jul 2024 17:12:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-15 22:39:07.736722
- Title: MUSCLE: A Model Update Strategy for Compatible LLM Evolution
- Title（参考訳）: MUSCLE: 互換性のあるLLM進化のためのモデル更新戦略
- Authors: Jessica Echterhoff, Fartash Faghri, Raviteja Vemulapalli, Ting-Yao Hu, Chun-Liang Li, Oncel Tuzel, Hadi Pouransari,
- Abstract要約: 大規模言語モデル(LLM)は、データやアーキテクチャの変更によって頻繁に更新され、パフォーマンスが向上する。
ユーザは、対話している特定の機械学習モデルの機能と能力のメンタルモデルを構築することが多い。
モデル更新における不整合の数を最小限に抑えるためのトレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 29.032461144831053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、データやアーキテクチャの変更によって頻繁に更新され、パフォーマンスが向上する。
モデルを更新するとき、開発者はしばしば、以前のモデルバージョンとの互換性に重点を置いて、全体的なパフォーマンス指標の増加に焦点を当てる。
しかしながら、ユーザは、対話している特定の機械学習モデルの機能と機能に関するメンタルモデルを構築することが多い。
彼らは更新毎にメンタルモデルを適応させなければなりません -- ユーザの不満を招きかねない排水作業です。
実際には、微調整された下流タスクアダプタは、事前訓練されたLLMベースモデルに依存している。
これらのベースモデルが更新されると、これらのユーザ向きのダウンストリームタスクモデルがインスタンスの回帰や負のフリップを経験します。
これは、下流のタスクトレーニング手順が同じである場合でも起こります。
私たちの仕事は、ユーザーにシームレスなモデル更新を2つの方法で提供することを目的としています。
まず,従来のモデルバージョンとの互換性の概念,特に生成タスクに対して,識別タスクにも適用可能な評価指標を提供する。
さまざまなタスクセットとモデル更新に基づいて、さまざまなモデルバージョン間の回帰と矛盾を観察する。
第2に,タスク細調整言語モデルを強化する互換性モデルのトレーニングを含む,モデル更新の不整合の最小化のためのトレーニング戦略を提案する。
以前のモデルバージョンが正しかった場合の負のフリップを、Llama 1からLlama 2に最大40%削減します。
関連論文リスト
- EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - MGit: A Model Versioning and Management System [7.2678752235785735]
MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。
MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
論文 参考訳（メタデータ） (2023-07-14T17:56:48Z) - Backward Compatibility During Data Updates by Weight Interpolation [17.502410289568587]
データ更新時の回帰問題について検討し、後方対応型重み補間法(BCWI)を提案する。
BCWIは、新しいモデルの精度の向上を犠牲にすることなく、負のフリップを減らす。
また,複数の新モデルの重み付けにおける重み付けと平均化による負のフリップの低減についても検討する。
論文 参考訳（メタデータ） (2023-01-25T12:23:10Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Revision Transformers: Instructing Language Models to Change their
Values [21.645935518842744]
現在のトランスフォーマー言語モデル(LM)は数十億のパラメータを持つ大規模モデルである。
モデル更新を容易にするリビジョントランス (RiT) を提案する。
明確に構造化されたリビジョンエンジンで世界知識を拡散的に符号化する大規模な事前学習型LMの特定の組み合わせにより、モデルの知識をほとんど努力せずに更新し、ユーザーインタラクションの助けを借りることができる。
論文 参考訳（メタデータ） (2022-10-19T07:05:06Z) - Learning Backward Compatible Embeddings [74.74171220055766]
バージョン更新の組込み問題と後方互換性について検討する。
後方互換性のある埋め込みの学習に基づくソリューションを開発する。
BC-Alignerと呼ばれる最良のメソッドは、複数のモデルバージョンが更新された後も、意図しないタスクとの後方互換性を維持していることを示す。
論文 参考訳（メタデータ） (2022-06-07T06:30:34Z) - Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。
我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。
結果のアルゴリズム(MnM)は概念的にはGANと似ている。
論文 参考訳（メタデータ） (2021-10-06T13:43:27Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳（メタデータ） (2021-09-07T03:13:06Z) - What do we expect from Multiple-choice QA Systems? [70.86513724662302]
複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。
このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
論文 参考訳（メタデータ） (2020-11-20T21:27:10Z) - Self-Updating Models with Error Remediation [0.5156484100374059]
我々は、デプロイされたモデルが新しいデータが利用可能になると、自身を更新するフレームワーク、Self-Updating Models with Error Remediation (SUMER)を提案する。
SUMERの重要な構成要素は、自己ラベル付きデータがエラーの伝播に影響を受けやすいため、エラー修正の概念である。
自己更新モデル(Self-updating Model, SUM)は, 前例のない追加データを提示しても, 自己更新を行おうとしないモデルよりも, 一般的に優れている。
論文 参考訳（メタデータ） (2020-05-19T23:09:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。