論文の概要: Large Continual Instruction Assistant

• arxiv url: http://arxiv.org/abs/2410.10868v3
• Date: Wed, 19 Feb 2025 07:01:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:39.833565
• Title: Large Continual Instruction Assistant
• Title（参考訳）: 大規模連続指導支援システム
• Authors: Jingyang Qiao, Zhizhong Zhang, Xin Tan, Yanyun Qu, Shouhong Ding, Yuan Xie,
• Abstract要約: CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 59.585544987096974
• License:
• Abstract: Continual Instruction Tuning (CIT) is adopted to continually instruct Large Models to follow human intent data by data. It is observed that existing gradient update would heavily destroy the performance on previous datasets during CIT process. Instead, Exponential Moving Average (EMA), owns the ability to trace previous parameters, which can aid in decreasing forgetting. Nonetheless, its stable balance weight fails to deal with the ever-changing datasets, leading to the out-of-balance between plasticity and stability. In this paper, we propose a general continual instruction tuning framework to address the challenge. Starting from the trade-off prerequisite and EMA update, we propose the plasticity and stability ideal condition. Based on Taylor expansion in the loss function, we find the optimal balance weight can be automatically determined by the gradients and learned parameters. Therefore, we propose a stable-plasticity balanced coefficient to avoid knowledge confusion. Based on the semantic similarity of the instructions, we can determine whether to retrain or expand the training parameters and allocate the most suitable parameters for the testing instances. Extensive experiments across multiple continual instruction tuning benchmarks demonstrate that our approach not only enhances anti-forgetting capabilities but also significantly improves overall continual tuning performance. For example, based on LLaVA-7B, the forgetting is reduced from 5.42 to 1.93. Our code will be made publicly available soon.
• Abstract（参考訳）: CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう継続的に指示するために用いられる。 既存の勾配更新は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことが観察された。 代わりに、Exponential moving Average (EMA)は、過去のパラメータをトレースする機能を所有しており、忘れることを減らすのに役立つ。 それでも、その安定したバランスウェイトは、常に変化するデータセットに対処できないため、可塑性と安定性のバランスが取れなくなる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。 トレードオフ前提条件とEMA更新から始めて,塑性と安定性の理想的な条件を提案する。 損失関数のテイラー展開に基づいて、最適バランスウェイトは勾配と学習パラメータによって自動的に決定できる。 そこで我々は,知識の混乱を避けるため,安定な塑性バランス係数を提案する。 命令の意味的類似性に基づいて、トレーニングパラメータを再トレーニングするか拡張するかを決定し、テストインスタンスに最も適したパラメータを割り当てる。 複数の連続的命令チューニングベンチマークの広範な実験は、我々のアプローチがアンチフォッゲッティング能力を高めるだけでなく、全体的な連続的チューニング性能を大幅に改善することを示した。 例えば、LLaVA-7Bに基づいて、忘れ物を5.42から1.93に減らす。 私たちのコードはまもなく公開されます。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization [17.20276556057748]
  大規模言語モデル(LLM)は、トレーニングセットの冗長性からいくつかのテキストシーケンスを暗記し、引用することが発見されている。 このTSM(Textual Sequence Memorization)現象は、特定の記憶されたテキストを生成するのを防ぐために、LCM出力の調整を要求される。 TSM消去のための既存の方法は、モデルユーティリティを実質的に損なうことなく、大量の記憶されたサンプルを忘れることができない。
  論文  参考訳（メタデータ） (2024-08-09T10:26:11Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models [46.92994945808424]
  マルチモーダル大言語モデル(MLLM)の微調整における破滅的忘れ込みの課題 本稿では,MLLMにおける破滅的忘れの包括的分析を行い,モデルタイラーと呼ばれるポストトレーニング調整手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T11:02:05Z)
• Weighted Ensemble Models Are Strong Continual Learners [20.62749699589017]
  本研究では,タスク列のモデル学習を目標とする連続学習(CL)の問題について検討する。 CLは基本的に、新しいタスクで学べることと、以前に学んだ概念でのパフォーマンスを維持することのバランスをとる行為である。 安定性と塑性のトレードオフに対処するため,従来の課題と現在の課題のモデルパラメータを重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T14:26:57Z)
• Dynamic Corrective Self-Distillation for Better Fine-Tuning of Pretrained Models [0.9217021281095907]
  プレトレーニング言語モデル(PLM)の伝達学習過程において発生する攻撃的微調整の問題に対処する。 従来の機械学習における適応的強化法に着想を得て,PLMの微調整を改善するための効果的な動的補正自己蒸留手法を提案する。 本手法は,各イテレーションにおいて,各データポイントに割り当てられた重みを動的に調整することにより,学生モデルが積極的に適応し,自己補正を行う自己蒸留機構を実行することを含む。
  論文  参考訳（メタデータ） (2023-12-12T07:26:36Z)
• Recyclable Tuning for Continual Pre-training [98.51583779792031]
  継続事前学習は、学習済み言語モデル(PLM)が成長するデータから新たな知識を継続的に獲得し、徐々にアップグレードされるパラダイムである。 時代遅れの適応重量をリサイクルするための適切なアルゴリズムを開発するべきだと我々は主張する。 両手法が組み合わされ,性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-15T15:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。