論文の概要: SEE: Continual Fine-tuning with Sequential Ensemble of Experts

• arxiv url: http://arxiv.org/abs/2504.06664v1
• Date: Wed, 09 Apr 2025 07:56:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:07:35.025040
• Title: SEE: Continual Fine-tuning with Sequential Ensemble of Experts
• Title（参考訳）: SEE: 連続的な専門家の集まりによる微調整
• Authors: Zhilin Wang, Yafu Li, Xiaoye Qu, Yu Cheng,
• Abstract要約: 大規模言語モデル(LLM)の継続的な微調整は破滅的な忘れ込みに悩まされる。 SEE(Sequential Ensemble of Experts)フレームワークを紹介します。 SEEは、追加のルータの必要性を排除し、各専門家がクエリを処理するかどうかを独立して決定できるようにする。
• 参考スコア（独自算出の注目度）: 25.96255683276355
• License:
• Abstract: Continual fine-tuning of large language models (LLMs) suffers from catastrophic forgetting. Rehearsal-based methods mitigate this problem by retaining a small set of old data. Nevertheless, they still suffer inevitable performance loss. Although training separate experts for each task can help prevent forgetting, effectively assembling them remains a challenge. Some approaches use routers to assign tasks to experts, but in continual learning, they often require retraining for optimal performance. To address these challenges, we introduce the Sequential Ensemble of Experts (SEE) framework. SEE removes the need for an additional router, allowing each expert to independently decide whether a query should be handled. The framework employs distributed routing, and during continual fine-tuning, SEE only requires the training of new experts for incoming tasks rather than retraining the entire system. Experiments reveal that the SEE outperforms prior approaches, including multi-task learning, in continual fine-tuning. It also demonstrates remarkable generalization ability, as the expert can effectively identify out-of-distribution queries, which can then be directed to a more generalized model for resolution. This work highlights the promising potential of integrating routing and response mechanisms within each expert, paving the way for the future of distributed model ensembling.
• Abstract（参考訳）: 大規模言語モデル(LLM)の継続的な微調整は破滅的な忘れ込みに悩まされる。 リハーサルベースの手法は、小さな古いデータを保持することでこの問題を軽減する。 それでも、パフォーマンスの損失は避けられない。 各タスクの個別の専門家を訓練することは、忘れることを防ぐのに役立ちますが、効果的に組み立てることは課題です。 ルータを使って専門家にタスクを割り当てるアプローチもあるが、継続的な学習では、最適なパフォーマンスのために再トレーニングを必要とすることが多い。 これらの課題に対処するために、SEE(Sequential Ensemble of Experts)フレームワークを紹介します。 SEEは、追加のルータの必要性を排除し、各専門家がクエリを処理するかどうかを独立して決定できるようにする。 フレームワークは分散ルーティングを採用しており、継続的な微調整の間、SEEはシステム全体をトレーニングするのではなく、入ってくるタスクに対して新しい専門家のトレーニングを必要とする。 実験により、SEEは連続的な微調整において、マルチタスク学習を含む従来のアプローチよりも優れていることが明らかになった。 また、専門家が分散外クエリを効果的に識別し、より一般化された解法モデルに向けることができるため、顕著な一般化能力を示す。 この研究は、各専門家にルーティングとレスポンスメカニズムを統合するという有望な可能性を強調し、分散モデルアンサンブルの未来への道を開く。

関連論文リスト

• Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
  複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。 この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。 提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
  論文  参考訳（メタデータ） (2024-11-27T15:58:07Z)
• Learning to Route Among Specialized Experts for Zero-Shot Generalization [39.56470042680907]
  我々は,専門専門家の海洋上での時間的適応的整合性ゲーティング(PHATGOOSE)を提案する。 パラメータ効率の細かいチューニングによって生成された特殊なモジュール間のルートを学習する。 特別なモデルを作成するために使用されるデータセットに同時アクセスする必要はなく、各エキスパートモデルがトレーニングされた後のみ、わずかな量の計算が必要になります。
  論文  参考訳（メタデータ） (2024-02-08T17:43:22Z)
• Divide and not forget: Ensemble of selectively trained experts in Continual Learning [0.2886273197127056]
  クラス増分学習は、モデルがすでに知っていることを忘れずに適用範囲を広げるのに役立つため、人気が高まっている。 この領域のトレンドは、異なるモデルがタスクを解決するために一緒に働く、エキスパートの混合技術を使うことである。 SEEDは、考慮されたタスクに対して最も最適な専門家である1人だけを選択し、このタスクからのデータを使用して、この専門家のみを微調整する。
  論文  参考訳（メタデータ） (2024-01-18T18:25:29Z)
• Inverse Reinforcement Learning with Sub-optimal Experts [56.553106680769474]
  与えられた専門家の集合と互換性のある報酬関数のクラスの理論的性質について検討する。 以上の結果から,複数の準最適専門家の存在が,相反する報酬の集合を著しく減少させる可能性が示唆された。 我々は,最適なエージェントの1つに十分近い準最適専門家のパフォーマンスレベルが最適である場合に,最小限の最適化を行う一様サンプリングアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2024-01-08T12:39:25Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
  本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
  論文  参考訳（メタデータ） (2023-07-13T17:59:35Z)
• Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
  専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。 単一モデルのトレーニング中に、このマッチングプロセスを最適化する。 13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2022-12-15T18:59:52Z)
• Diversified Dynamic Routing for Vision Tasks [36.199659460868496]
  本稿では,各レイヤが専門家の集合で構成された新しいアーキテクチャを提案する。 本手法では,データのパーティショニングに関する課題を解決するために,モデルを明示的に訓練する。 都市景観のセマンティックセグメンテーションとMS-COCOのオブジェクト検出とインスタンスセグメンテーションについていくつかの実験を行った。
  論文  参考訳（メタデータ） (2022-09-26T23:27:51Z)
• Generalizing to New Tasks via One-Shot Compositional Subgoals [23.15624959305799]
  以前は見つからなかったタスクをほとんど、あるいはまったく監督せずに一般化する能力は、現代の機械学習研究において重要な課題である。 適応型「近未来」サブゴールを用いて、模倣学習エージェントを訓練することにより、これらの問題に対処しようとするCASEを導入する。 実験の結果,提案手法は従来よりも30%向上していることがわかった。
  論文  参考訳（メタデータ） (2022-05-16T14:30:11Z)
• Hierarchical Few-Shot Imitation with Skill Transition Models [66.81252581083199]
  FIST(Few-shot Imitation with Skill Transition Models)は、オフラインデータからスキルを抽出し、それらを利用して見えないタスクに一般化するアルゴリズムである。 本稿では,FISTが新たなタスクに一般化し,ナビゲーション実験において従来のベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-07-19T15:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。