Fugu-MT 論文翻訳(概要): Beyond Learning: A Training-Free Alternative to Model Adaptation

論文の概要: Beyond Learning: A Training-Free Alternative to Model Adaptation

arxiv url: http://arxiv.org/abs/2602.16189v1
Date: Wed, 18 Feb 2026 05:17:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-19 15:58:30.517084
Title: Beyond Learning: A Training-Free Alternative to Model Adaptation
Title（参考訳）: Beyond Learning: モデル適応のトレーニング自由な代替手段
Authors: Namkyung Yoon, Kyeonghyun Yoo, Wooyong Jung, Sanghong Kim, Hwangnam Kim,
Abstract要約: この作業では、推論ワークロードの下で、一貫性と局所的なアクティベーション変更を示すモジュールのセットを特定します。特定のタスクのために適切にアクティベートされた内部モジュールをターゲットモデルに移植し、即時かつ測定可能な機能変更をもたらす。その結果,言語モデルによる高度局所化モジュールの注入により,有意義な容量移動を実現することができた。
参考スコア（独自算出の注目度）: 3.7841869476488044
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Despite the continuous research and evolution of language models, they sometimes underperform previous versions. Existing approaches to overcome these challenges are resource-intensive, highlighting the need for alternatives that enable immediate action. We assume that each language model has a local module inside that is suitable for a specific function. First, this work identifies a set of modules showing consistent and local activation changes under an inference workload through activation-based analysis. Subsequently, we transplant an internal module that is properly activated for a specific task into the target model, leading to immediate and measurable functional changes without additional training or fine-tuning. To experimentally demonstrate the effectiveness of the transplant technique, we quantify the relationship between transplant strength and performance improvement under different conditions for two language models. In the cross-generation setting, we find that transplanting activation-selected modules can substantially improve the underperforming model, reaching up to twice the target baseline and achieving gap-based recovery above 100%. Moreover, in transplant experiments between a base model and its instruction-tuned counterpart, transplantation improves the underperforming model toward the stronger baseline, yielding up to about 2.33 times the target baseline with gap-based recovery reaching up to 100% in the best case. These results show that meaningful capacity transfer can be realized through the implantation of highly localized modules implied by language models. Overall, this work provides empirical evidence for task-localized modularity in language models and presents a new research area: model transplantation.
Abstract（参考訳）: 言語モデルの継続的な研究と進化にもかかわらず、しばしば以前のバージョンよりも性能が劣る。これらの課題を克服するための既存のアプローチはリソース集約的であり、即時行動を可能にする代替手段の必要性を強調している。各言語モデルには、特定の機能に適したローカルモジュールが内部に存在すると仮定する。まず、この研究は、アクティベーションベースの分析を通じて、推論ワークロードの下で一貫した、局所的なアクティベーション変化を示す一連のモジュールを特定する。その後、特定のタスクのために適切に活性化された内部モジュールをターゲットモデルに移植し、追加のトレーニングや微調整をすることなく、即時かつ測定可能な機能変化をもたらす。移植法の有効性を実験的に実証するために, 2つの言語モデルに対して異なる条件下での移植強度と性能改善の関係を定量化する。クロスジェネレーション環境では, アクティベーション選択モジュールの移植は, 目標ベースラインの最大2倍に到達し, 100%以上のギャップベースリカバリを達成できる。さらに, ベースモデルと指導訓練対象との移植実験では, より強力なベースラインに対する低性能モデルを改良し, 最大2.33倍の目標ベースラインを達成し, ギャップベースリカバリは最良ケースで最大100%に達する。これらの結果から,言語モデルによる高度局所化モジュールの注入により,有意義な容量移動が実現できることが示唆された。全体として、この研究は言語モデルにおけるタスク局所化モジュラリティの実証的な証拠を提供し、新しい研究領域であるモデル移植を提示する。

関連論文リスト

DAM: Dual Active Learning with Multimodal Foundation Model for Source-Free Domain Adaptation [53.323488295994395]
ソースフリーアクティブドメイン適応(SFADA)は、アクティブラーニングによって選択された限られた手動ラベルを用いて、ソースモデルから未ラベルのターゲットドメインへの知識伝達を強化する。マルチモーダル・ファンデーション・モデルを用いたデュアルアクティブ・ラーニング(DAM)を提案する。大規模な実験では、DAMは既存のメソッドを一貫して上回り、複数のSFADAベンチマークとアクティブな学習戦略で新しい最先端の手法を設定できる。
論文参考訳（メタデータ） (2025-09-29T15:06:56Z)
The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
論文参考訳（メタデータ） (2025-05-23T20:28:31Z)
An Active Learning Framework for Inclusive Generation by Large Language Models [32.16984263644299]
大規模言語モデル(LLM)は、多様なサブ集団を表すテキストを生成する。本稿では,知識蒸留により強化されたクラスタリングに基づくアクティブラーニングフレームワークを提案する。 2つの新しいデータセットをモデルトレーニングと組み合わせて構築し、ベースラインモデルよりも2%-10%の性能向上を示した。
論文参考訳（メタデータ） (2024-10-17T15:09:35Z)
Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文参考訳（メタデータ） (2023-09-05T17:57:31Z)
Incremental Learning for Heterogeneous Structure Segmentation in Brain Tumor MRI [11.314017805825685]
本稿では,従来のタスクと新しいタスクを分離するために,バランスの取れた剛性と可塑性分岐を有する分散型二重フローモジュールを提案する。標的領域を連続的に変化させる脳腫瘍セグメンテーションタスクの枠組みについて検討した。
論文参考訳（メタデータ） (2023-05-30T20:39:03Z)
Modular Deep Learning [120.36599591042908]
トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
論文参考訳（メタデータ） (2023-02-22T18:11:25Z)
Learning to Augment via Implicit Differentiation for Domain Generalization [107.9666735637355]
ドメイン一般化(DG)は、複数のソースドメインを活用してドメイン一般化可能なモデルを学ぶことで、この問題を克服することを目的としている。本稿では,AugLearnと呼ばれる新しい拡張型DG手法を提案する。 AugLearnは、PACS、Office-Home、Digits-DGの3つの標準DGベンチマークで効果を示す。
論文参考訳（メタデータ） (2022-10-25T18:51:51Z)
QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文参考訳（メタデータ） (2022-06-24T17:42:18Z)
Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
論文参考訳（メタデータ） (2020-11-23T16:00:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。