論文の概要: CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation

• arxiv url: http://arxiv.org/abs/2608.30158v1
• Date: Mon, 31 Aug 2026 02:19:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.199362
• Title: CPR for LLMs: Critical-Point Routing against Catastrophic Forgetting in Domain Adaptation
• Title（参考訳）: LLMのためのCPR:ドメイン適応における破滅的予測に対する臨界点ルーティング
• Authors: Kwangmin Ki, Yunhun Nam, Jongheon Jeong, Jaehyung Kim,
• Abstract要約: Supervised Fine-tuning (SFT)は、大規模言語モデルをターゲットドメインに適応するためのデファクトスタンダードである。 既存のアプローチは、通常、忘れを緩和するためにSFT損失を変更するが、必然的にドメイン・ジェネリティー・トレードオフに沿って機能する。 モデルレベルで2つの機能を分離し、ドメイン固有の知識が必要な場合にのみSFT専門家を選択的に呼び出すことで、このトレードオフを回避します。
• 参考スコア（独自算出の注目度）: 17.09957701895852
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Supervised fine-tuning (SFT) is the de facto standard for adapting large language models (LLMs) to target domains, but it often degrades the model's general capabilities, a phenomenon known as catastrophic forgetting. Existing approaches typically modify the SFT loss to mitigate forgetting, but they inevitably operate along a domain-generality trade-off. In this work, we step outside this trade-off by decoupling the two capabilities at the model level: we keep the original base model for general capability, and selectively invoke the SFT expert only when domain-specific knowledge is required. Specifically, we propose CPR (Critical-Point Routing), a token-level routing framework between a base model and its expert derivative, based on critical tokens where the base model fails but the expert succeeds. We train a lightweight hierarchical router that estimates the expert-call probability per token, and pair it with a tailored inference procedure that combines momentum smoothing and threshold gating. Across diverse model-domain configurations, CPR achieves state-of-the-art across all settings, surpassing SFT expert by 1.4-5.5% in domain performance while recovering its general-capability drop from 3.4-14.5% to at most 0.5%, with minimal overhead from invoking the expert on only one-third of tokens.
• Abstract（参考訳）: Supervised Fine-tuning (SFT) は、大きな言語モデル(LLM)をターゲットドメインに適応させるデファクトスタンダードであるが、しばしばモデルの一般的な能力を低下させる。 既存のアプローチは、通常、忘れを緩和するためにSFT損失を変更するが、必然的にドメイン・ジェネリティー・トレードオフに沿って機能する。 本研究では,2つの機能をモデルレベルで分離することで,このトレードオフを回避し,ドメイン固有の知識が必要な場合にのみ,SFTエキスパートを選択的に呼び出す。 具体的には、ベースモデルとエキスパートデリバティブの間のトークンレベルのルーティングフレームワークであるCPR(Critical-Point Routing)を提案する。 我々は,トークン単位のエキスパートコール確率を推定する軽量階層ルータをトレーニングし,運動量平滑化としきい値ゲーティングを組み合わせた推論手順と組み合わせる。 さまざまなモデルドメイン構成において、CPRはすべての設定で最先端を実現し、SFTの専門家を1.4-5.5%上回り、一般能力の低下を3.4-14.5%から0.5%まで回復させ、トークンの3分の1だけを専門家に呼び出すオーバーヘッドを最小限に抑える。

関連論文リスト

• UMoE:Unlocking Every Expert in Domain-Specific Training [21.878914936561486]
  Mixture-of-Experts (MoE)モデルは、比例計算コストなしでキャパシティをスケールする。 我々は、微調整前にエキスパートプールをターゲットドメインに設定する、シンプルな、予算保存パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-07-13T11:52:42Z)
• Token-Level LLM Collaboration via FusionRoute [60.72307345997823]
  FusionRouteはトークンレベルのマルチLLMコラボレーションフレームワークである。 各デコーディングステップで最も適した専門家を選択し、選択した専門家の次のTokenディストリビューションを洗練または修正する補完ロジットをコントリビュートする。 シーケンスレベルのコラボレーションとトークンレベルのコラボレーション、モデルマージ、ダイレクト微調整の両方に優れています。
  論文  参考訳（メタデータ） (2026-01-08T16:53:16Z)
• Improving Multimodal Distillation for 3D Semantic Segmentation under Domain Shift [62.50795372173394]
  我々は,ライダーポイント雲のセマンティックセグメンテーションのための教師なし領域適応において,視覚基盤モデル(VFM)を利用したレシピの同定を行う。 その結果、パイプラインは4つの広く認識され、困難な設定で、最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-11-21T17:57:43Z)
• TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
  4つのキー特性を持つTucker Adaptation(TuckA)を導入する。 我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。 自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
  論文  参考訳（メタデータ） (2025-11-10T09:03:16Z)
• DEER: Disentangled Mixture of Experts with Instance-Adaptive Routing for Generalizable Machine-Generated Text Detection [21.449323711668487]
  ドメイン固有のMGTパターンとドメイン一般MGTパターンの両方をキャプチャする新しいフレームワークを提案する。 我々は、ドメイン固有の専門家が人間と機械が生成するテキストのドメイン局所的な微粒化を学習する、エキスパートの混在モジュールを紹介した。 また、各入力インスタンスに対して適切な専門家を動的に選択する強化学習に基づくルーティング機構を設計する。
  論文  参考訳（メタデータ） (2025-11-03T03:36:48Z)
• Bayesian Low-Rank Factorization for Robust Model Adaptation [60.296574524609575]
  本研究では,音声基礎モデルに対する因子化アダプタについて検討し,前処理をゼロに近い位置で行うことで,スペーサー適応行列を実現する。 その結果, 適応損失は最小限に抑えられたが, 基礎モデルの破滅的忘れを著しく減らした。
  論文  参考訳（メタデータ） (2025-10-21T15:23:30Z)
• SFT Doesn't Always Hurt General Capabilities: Revisiting Domain-Specific Fine-Tuning in LLMs [53.77646961962239]
  Supervised Fine-Tuning (SFT) は、大規模言語モデル(LLM)を特殊タスクに適用するための一般的なアプローチである。 より少ない学習率で一般的な性能劣化を著しく軽減することができる。
  論文  参考訳（メタデータ） (2025-09-25T05:28:22Z)
• Improved Supervised Fine-Tuning for Large Language Models to Mitigate Catastrophic Forgetting [1.5595148909011116]
  Supervised Fine-Tuning (SFT) は、Large Language Models (LLM) の命令追従能力を高めるための重要なステップである。 SFTはしばしば、破滅的忘れという現象として、モデルの一般的な能力の低下につながる。 本稿では,従来のSFTデータへのアクセスを必要とせずに,破滅的な忘れを効果的に軽減する,新しい費用対効果のSFT手法を提案する。
  論文  参考訳（メタデータ） (2025-06-11T06:23:50Z)
• Token-Level Prompt Mixture with Parameter-Free Routing for Federated Domain Generalization [51.562474873972086]
  Federated Domain Generalization (FedDG)は、異種データを持つ分散クライアントからグローバルに一般化可能なモデルを学ぶことを目的としている。 近年の研究では、単一のグローバルなプロンプトを学習することで、FedDGの視覚言語モデル(VLM)を適応させる素早い学習が導入されている。 本稿では,FedDGのためのパラメータフリールーティングフレームワークであるTRIPを提案する。
  論文  参考訳（メタデータ） (2025-04-29T11:06:03Z)
• Expert-Token Resonance MoE: Bidirectional Routing with Efficiency Affinity-Driven Active Selection [19.365009652356793]
  エキスパート-トークン共鳴(ETR)は、専門家-トークン相互作用を再想像する理論的な双方向ルーティング機構である。 ETRは、ベースラインのMoE実装と比較して、エンドツーエンドのトレーニング効率が5.4%-46.6%向上している。
  論文  参考訳（メタデータ） (2024-05-24T02:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。