論文の概要: MUSCLE: A Model Update Strategy for Compatible LLM Evolution

• arxiv url: http://arxiv.org/abs/2407.09435v1
• Date: Fri, 12 Jul 2024 17:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-15 22:39:07.736722
• Title: MUSCLE: A Model Update Strategy for Compatible LLM Evolution
• Title（参考訳）: MUSCLE: 互換性のあるLLM進化のためのモデル更新戦略
• Authors: Jessica Echterhoff, Fartash Faghri, Raviteja Vemulapalli, Ting-Yao Hu, Chun-Liang Li, Oncel Tuzel, Hadi Pouransari,
• Abstract要約: 大規模言語モデル(LLM)は、データやアーキテクチャの変更によって頻繁に更新され、パフォーマンスが向上する。 ユーザは、対話している特定の機械学習モデルの機能と能力のメンタルモデルを構築することが多い。 モデル更新における不整合の数を最小限に抑えるためのトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 29.032461144831053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are frequently updated due to data or architecture changes to improve their performance. When updating models, developers often focus on increasing overall performance metrics with less emphasis on being compatible with previous model versions. However, users often build a mental model of the functionality and capabilities of a particular machine learning model they are interacting with. They have to adapt their mental model with every update -- a draining task that can lead to user dissatisfaction. In practice, fine-tuned downstream task adapters rely on pretrained LLM base models. When these base models are updated, these user-facing downstream task models experience instance regression or negative flips -- previously correct instances are now predicted incorrectly. This happens even when the downstream task training procedures remain identical. Our work aims to provide seamless model updates to a user in two ways. First, we provide evaluation metrics for a notion of compatibility to prior model versions, specifically for generative tasks but also applicable for discriminative tasks. We observe regression and inconsistencies between different model versions on a diverse set of tasks and model updates. Second, we propose a training strategy to minimize the number of inconsistencies in model updates, involving training of a compatibility model that can enhance task fine-tuned language models. We reduce negative flips -- instances where a prior model version was correct, but a new model incorrect -- by up to 40% from Llama 1 to Llama 2.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、データやアーキテクチャの変更によって頻繁に更新され、パフォーマンスが向上する。 モデルを更新するとき、開発者はしばしば、以前のモデルバージョンとの互換性に重点を置いて、全体的なパフォーマンス指標の増加に焦点を当てる。 しかしながら、ユーザは、対話している特定の機械学習モデルの機能と機能に関するメンタルモデルを構築することが多い。 彼らは更新毎にメンタルモデルを適応させなければなりません -- ユーザの不満を招きかねない排水作業です。 実際には、微調整された下流タスクアダプタは、事前訓練されたLLMベースモデルに依存している。 これらのベースモデルが更新されると、これらのユーザ向きのダウンストリームタスクモデルがインスタンスの回帰や負のフリップを経験します。 これは、下流のタスクトレーニング手順が同じである場合でも起こります。 私たちの仕事は、ユーザーにシームレスなモデル更新を2つの方法で提供することを目的としています。 まず,従来のモデルバージョンとの互換性の概念,特に生成タスクに対して,識別タスクにも適用可能な評価指標を提供する。 さまざまなタスクセットとモデル更新に基づいて、さまざまなモデルバージョン間の回帰と矛盾を観察する。 第2に,タスク細調整言語モデルを強化する互換性モデルのトレーニングを含む,モデル更新の不整合の最小化のためのトレーニング戦略を提案する。 以前のモデルバージョンが正しかった場合の負のフリップを、Llama 1からLlama 2に最大40%削減します。

関連論文リスト

• OLMES: A Standard for Language Model Evaluations [64.85905119836818]
  再現可能な言語モデル評価のための実用的でオープンな標準であるOLMESを提案する。 我々は,コミュニティが採用する評価実践において,様々な要因を特定し,検討する。 OLMESは、複数の質問の非自然な「閉じた」定式化を必要とする小さなベースモデル間の有意義な比較をサポートする。
  論文  参考訳（メタデータ） (2024-06-12T17:37:09Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Robustness-Congruent Adversarial Training for Secure Machine Learning Model Updates [13.911586916369108]
  機械学習モデルにおける誤分類は、敵の例に対して堅牢性に影響を及ぼす可能性があることを示す。 この問題に対処するために,ロバストネス・コングロレント・逆行訓練という手法を提案する。 我々のアルゴリズムと、より一般的には、非回帰的制約で学習することは、一貫した推定器を訓練するための理論的に基底的なフレームワークを提供することを示す。
  論文  参考訳（メタデータ） (2024-02-27T10:37:13Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Revision Transformers: Instructing Language Models to Change their Values [21.645935518842744]
  現在のトランスフォーマー言語モデル(LM)は数十億のパラメータを持つ大規模モデルである。 モデル更新を容易にするリビジョントランス (RiT) を提案する。 明確に構造化されたリビジョンエンジンで世界知識を拡散的に符号化する大規模な事前学習型LMの特定の組み合わせにより、モデルの知識をほとんど努力せずに更新し、ユーザーインタラクションの助けを借りることができる。
  論文  参考訳（メタデータ） (2022-10-19T07:05:06Z)
• Measuring and Reducing Model Update Regression in Structured Prediction for NLP [31.86240946966003]
  後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。 本研究は、構造化予測タスクにおける更新回帰をモデル化する。 本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T07:04:54Z)
• Forward Compatible Training for Representation Learning [53.300192863727226]
  後方互換トレーニング(BCT)は、新しいモデルのトレーニングを変更して、その表現を古いモデルのトレーニングと互換性を持たせる。 BCTは新しいモデルの性能を著しく損なう可能性がある。 本研究では,表現学習のための新しい学習パラダイムである,前方互換学習(FCT)を提案する。
  論文  参考訳（メタデータ） (2021-12-06T06:18:54Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Self-Updating Models with Error Remediation [0.5156484100374059]
  我々は、デプロイされたモデルが新しいデータが利用可能になると、自身を更新するフレームワーク、Self-Updating Models with Error Remediation (SUMER)を提案する。 SUMERの重要な構成要素は、自己ラベル付きデータがエラーの伝播に影響を受けやすいため、エラー修正の概念である。 自己更新モデル(Self-updating Model, SUM)は, 前例のない追加データを提示しても, 自己更新を行おうとしないモデルよりも, 一般的に優れている。
  論文  参考訳（メタデータ） (2020-05-19T23:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。