論文の概要: Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models

• arxiv url: http://arxiv.org/abs/2609.21113v2
• Date: Wed, 23 Sep 2026 08:52:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.642158
• Title: Decoupling Internal Representational Changes and Causal Importance in Fine-Tuned Large Language Models
• Title（参考訳）: 微調整大言語モデルにおける内部表現変化と因果的重要性の分離
• Abstract要約: ファインチューニングは、様々な下流タスクにLLMを適用するために広く採用されているアプローチとして現れている。 注意パターンや層ワイドアクティベーションを含むLLMの内部表現が微調整によってどのように変化するかを検討する。 EAPを同定したコンポーネントは特定のレイヤに集中しており、モデルがタスク固有の振る舞いを内部化する方法における機能的局所化の程度を示している。 より具体的には、あるタスクの微調整は、2つのタスクがEAPで識別されたコンポーネントに高い重複度を示す場合、別のタスクのパフォーマンスが低下する可能性がある。
• 参考スコア（独自算出の注目度）: 25.43639137756597
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning has emerged as a widely adopted approach for adapting LLMs to a variety of downstream tasks. However, how it reshapes their internal mechanisms remains poorly understood. To address this, we investigate how fine-tuning alters internal representations in LLMs, including attention patterns and layer-wise activations, and examine whether these changes are linked to task-relevant components identified by EAP (e.g., attention heads and logit-level activations) that drive task performance. We find that EAP-identified components are concentrated within specific layers, indicating a degree of functional localisation in how models internalise task-specific behavior. Notably, the distribution of these components across layers is largely uncorrelated with the layers undergoing the most substantial representational changes during fine-tuning. Furthermore, we observe that overlap in EAP-identified components across tasks does not translate into cross-task performance transfer if the tasks are different in nature (e.g. classification vs. generative tasks). More specifically, fine-tuning on one task can lead to a degradation of performance on another when the two tasks exhibit a high degree of overlap in their EAP-identified components.
• Abstract（参考訳）: ファインチューニングは、様々な下流タスクにLLMを適用するために広く採用されているアプローチとして現れている。 しかし、どのようにして内部のメカニズムが再認識されるかはいまだに不明である。 そこで本研究では,注視パターンやレイヤワイドアクティベーションを含むLCMの内部表現が微調整によってどのように変化するかを検討するとともに,これらの変化がタスクパフォーマンスを駆動するタスク関連コンポーネント(例えば,アテンションヘッドやロジットレベルアクティベーション)にリンクされているかを検討する。 EAPを同定したコンポーネントは特定のレイヤに集中しており、モデルがタスク固有の振る舞いを内部化する方法における機能的局所化の程度を示している。 特に、これらコンポーネントの層間分布は、微調整中に最も実質的な表現的変化を行う層とほとんど関係がない。 さらに、タスク間のEAP識別コンポーネントの重複は、タスクが本質的に異なる場合(例えば、分類対生成タスク)は、タスク間のパフォーマンス転送に変換されない。 より具体的には、あるタスクの微調整は、2つのタスクがEAPで識別されたコンポーネントに高い重複度を示す場合、別のタスクのパフォーマンスが低下する可能性がある。

関連論文リスト

• Essential Subspace Merging for Multi-Task Learning [78.5390284258307]
  タスク更新によって引き起こされる出力シフトを分析し、そのエネルギーが少数の主方向に集中していることを確認する。 残りのほとんどの方向は、タスク関連エネルギーをほとんど持たないが、複数のタスク更新にまたがる蓄積は、マージ中に深刻な干渉を引き起こす可能性がある。 ESDに基づいて,トレーニング不要な静的マージ手法であるEssential Subspace Merging (ESM)を導入する。 ESMをトレーニング不要な動的マージメソッドであるESM++に拡張し、タスク固有の残留物を低ランクの専門家に分解する。
  論文  参考訳（メタデータ） (2026-06-17T15:07:11Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models [51.754991950934375]
  事前トレーニングされたVLMでは、すべてのレイヤがデフォルトで実行され、下流タスクで予測される。 パラメータをゼロにすることで、ひとつの層にインターベンションすることで、特定のタスクのパフォーマンスを向上させることができる。 与えられたタスクに対して最も干渉するレイヤを動的に識別し、バイパスする、トレーニング不要なテスト時間適応手法であるTaLoを提案する。
  論文  参考訳（メタデータ） (2026-02-01T11:37:05Z)
• Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge [12.367471198090655]
  Task Arithmetic (TA)は、微調整から派生したタスクベクトルを組み合わせることで、マルチタスク学習とタスク忘れを可能にするが、一般的な指示追従行動からタスク固有の知識を分離するのに苦労する。 本稿では,命令フォローやタスク固有のコンポーネントとのアライメントに基づいて,階層固有の重みをタスクベクトルに割り当てる新しい手法であるLayer-Aware Task Arithmetic (LATA)を提案する。
  論文  参考訳（メタデータ） (2025-02-27T15:22:14Z)
• Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders [0.0]
  微調整事前学習トランスは、特定のタスクにおけるベースモデルの性能を向上させるための強力な技術である。 本稿では,微細チューニングの基礎となるメカニズム,特にBERT変換器について考察する。
  論文  参考訳（メタデータ） (2025-02-23T21:29:50Z)
• Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
  我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。 本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。 我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Learning Disentangled Identifiers for Action-Customized Text-to-Image Generation [34.11373539564126]
  本研究では,テキスト・ツー・イメージ(T2I)生成における新しいタスク,すなわちアクション・カスタマイズに焦点を当てた。 この課題の目的は、限られたデータから既存の行動を学び、それを見えない人間や動物に一般化することである。
  論文  参考訳（メタデータ） (2023-11-27T14:07:13Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation [165.61511788237485]
  Unsupervised domain adapt (UDA) は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフト問題に対処することを目的としている。 UDAのための動的タスク指向の非絡合ネットワーク(DTDN)を提案し,非絡合表現をエンドツーエンドで学習する。
  論文  参考訳（メタデータ） (2020-07-27T01:21:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。