Fugu-MT 論文翻訳(概要): Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation

論文の概要: Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation

arxiv url: http://arxiv.org/abs/2508.03571v1
Date: Tue, 05 Aug 2025 15:39:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-06 18:18:56.05012
Title: Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation
Title（参考訳）: KILOによるLCMの分散シフト -継続的適応のための知識指導型学習-
Authors: Iing Muttakhiroh, Thomas Fevens,
Abstract要約: 大規模言語モデル(LLM)は、ドメインシフトに直面すると、しばしばパフォーマンスの低下に悩まされる。本稿では,動的知識グラフと命令チューニングを統合した新しい連続学習フレームワークKILOを提案する。
参考スコア（独自算出の注目度）: 0.35297361401370037
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Large Language Models (LLMs) often suffer from performance degradation when faced with domain shifts, primarily due to catastrophic forgetting. In this work, we propose KILO (Knowledge-Instructed Learning for Continual Adaptation), a novel continual learning framework that integrates dynamic knowledge graphs with instruction tuning. By leveraging retrieved domain-specific knowledge as guidance during training, KILO enhances both adaptability to new domains and retention of previously acquired knowledge. We pretrain our model on WikiText-103 and evaluate sequential adaptation across four diverse target domains: BioASQ, SciQ, TweetEval, and MIND. Our experiments demonstrate that KILO consistently outperforms strong baselines, including continual fine-tuning, ERNIE 2.0, and CPT, in terms of backward transfer, forward transfer, F1 score, retention rate, and training efficiency. These results highlight the effectiveness of combining structured knowledge retrieval and instruction prompting to overcome domain shift challenges in continual learning scenarios.
Abstract（参考訳）: 大規模言語モデル(LLM)は、ドメインシフトに直面すると、しばしばパフォーマンスの低下に悩まされる。本研究では,動的知識グラフとインストラクションチューニングを統合した継続的学習フレームワークKILO(Knowledge-Instructed Learning for Continual Adaptation)を提案する。取得したドメイン固有の知識をトレーニング中のガイダンスとして活用することにより、KILOは、新しいドメインへの適応性と、以前取得した知識の保持の両方を強化する。我々はWikiText-103で事前トレーニングを行い、BioASQ、SciQ、TweetEval、MINDの4つの異なるターゲットドメインに対して逐次適応を評価した。実験の結果, KILOは後方転送, 前方転送, F1スコア, 保持率, トレーニング効率など, 連続微調整, ERNIE 2.0, CPTなど, 強いベースラインを一貫して上回っていることがわかった。これらの結果は、連続学習シナリオにおけるドメインシフトの課題を克服する上で、構造化知識検索と命令の組み合わせの有効性を強調した。

関連論文リスト

Addressing Imbalanced Domain-Incremental Learning through Dual-Balance Collaborative Experts [59.615381619866284]
ドメイン・インクリメンタル・ラーニング(Domain-Incremental Learning, DIL)は、非定常環境における連続的な学習に焦点を当てる。 DILは、ドメイン内のクラス不均衡とドメイン間のクラス分散シフトという、2つの重要な課題に直面している。これらの課題を克服するために、Dual-Balance Collaborative Experts (DCE)フレームワークを紹介します。
論文参考訳（メタデータ） (2025-07-09T17:57:07Z)
Hierarchical Subspaces of Policies for Continual Offline Reinforcement Learning [19.463863037999054]
我々は,学習エージェントが獲得したスキルセットを維持しながら,新たなタスクに継続的に適応しなければならない継続的強化学習の仕組みを考察する。オフラインデータからナビゲーション設定を継続学習するために設計された,新しい階層型フレームワークであるHiSPOを紹介する。本研究では,MuJoCo迷路環境と複雑なゲームライクなナビゲーションシミュレーションの両方において,本手法の有効性を実験的に検証した。
論文参考訳（メタデータ） (2024-12-19T14:00:03Z)
Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [19.982853959240497]
CLIPのような事前学習型視覚言語埋め込みモデルは、継続学習(CL)において広く採用され、検証されている。既存のCL法は主に、事前学習モデル(PTM)から分離されたコンポーネントを用いた連続的な下流適応に焦点を当てている。動的ランク選択ロラ(CoDyRA)に基づくCLIPの汎用的で効率的なCLアプローチを提案する。
論文参考訳（メタデータ） (2024-12-01T23:41:42Z)
Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
論文参考訳（メタデータ） (2024-11-11T07:36:19Z)
Temporal-Difference Variational Continual Learning [89.32940051152782]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文参考訳（メタデータ） (2024-10-10T10:58:41Z)
Mix-CPT: A Domain Adaptation Framework via Decoupling Knowledge Learning and Format Alignment [120.06538000214552]
汎用大規模言語モデル(LLM)を特殊なドメインに適応させることは、様々なデータ分散のために大きな課題となる。そこで我々はMix-CPTと呼ばれるドメイン知識学習と汎用フォーマットアライメントを含む新しいドメイン適応フレームワークを提案する。提案するMix-CPTフレームワークは,目標領域および一般領域におけるLCMのタスク解決能力を同時に向上させることができる。
論文参考訳（メタデータ） (2024-07-15T15:20:13Z)
Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning [13.371405067535814]
本稿では,Large Language Models(LLMs)における知識注入手法としてのスーパーバイザードファインタニング(SFT)の有効性について検討する。さまざまなデータセット生成戦略 – トークンベースとファクトベースのスケーリング – を比較して,モデルが新たな情報を学ぶためのトレーニングデータを生成します。その結果、ドメイン外知識に関連するQ&Aタスクのパフォーマンスが大幅に向上した。
論文参考訳（メタデータ） (2024-03-30T01:56:07Z)
Investigating Continual Pretraining in Large Language Models: Insights and Implications [9.660013084324817]
大規模言語モデル(LLM)における継続的な学習は、効率的で持続可能なトレーニング戦略の開発に焦点を当てた進化途上のドメインである。我々は,LLMの事前学習データランドスケープの変化に対する適応性を測定するために,新しいベンチマークを導入する。 i) 継続事前学習は、この研究で研究された1.5Bモデルを継続的に改善し、ドメイン適応よりも優れていること、(ii) より大きなモデルは、同じコーパス上で継続的に事前訓練された場合、より小さなモデルよりもずっと複雑であること、(iii) より小さなモデルは、特に連続事前訓練に敏感であること、そして、学習と学習の双方において最も有意な割合を示すこと、など、いくつかの重要な知見が明らかになった。
論文参考訳（メタデータ） (2024-02-27T10:47:24Z)
Online Continual Learning via the Knowledge Invariant and Spread-out Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文参考訳（メタデータ） (2023-02-02T04:03:38Z)
On effects of Knowledge Distillation on Transfer Learning [0.0]
本稿では,知識蒸留と伝達学習を組み合わせたTL+KDという機械学習アーキテクチャを提案する。我々は,教師ネットワークの指導と知識を微調整中に利用することにより,学生ネットワークを改良し,精度などの検証性能を向上させることができることを示した。
論文参考訳（メタデータ） (2022-10-18T08:11:52Z)
Continual Learning for Natural Language Generation in Task-oriented Dialog Systems [72.92029584113676]
自然言語生成(NLG)はタスク指向対話システムにおいて重要な要素である。我々は,NLGの知識を新たなドメインや機能に段階的に拡張する"継続的学習"環境で研究する。この目標に対する大きな課題は、破滅的な忘れことであり、継続的に訓練されたモデルは、以前に学んだ知識を忘れがちである。
論文参考訳（メタデータ） (2020-10-02T10:32:29Z)
Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。