論文の概要: Localized Adaptation Reveals Distinct Learning Signatures in Transformers

• arxiv url: http://arxiv.org/abs/2607.25663v1
• Date: Tue, 28 Jul 2026 12:49:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.838438
• Title: Localized Adaptation Reveals Distinct Learning Signatures in Transformers
• Title（参考訳）: 変圧器の個別学習信号を用いた局所適応
• Abstract要約: トランスフォーマー適応は通常、意図した変更が狭い場合でもモデル深度に分散する。 適応サイトがモデルがどのように学習するか、その学習がいかに一般化するか、どのようにそれを選択的に適用するかについて検討する。
• 参考スコア（独自算出の注目度）: 1.4824891788575416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer adaptation is typically distributed across model depth, even when the intended change is narrow. We investigate how adaptation site shapes what a model learns, how well that learning generalizes, and how selectively it is applied. We introduce a controlled benchmark spanning five objectives (lexical binding, factual association, behavioral policy learning, causal mapping, and procedural reasoning) and define each objective's "adaptation geometry" as its profile of acquisition, transfer, and boundedness under full-stack and early-, middle-, or late-layer LoRA. The objectives exhibit distinct geometries. Lexical binding favors early-layer adaptation for acquisition and boundedness but requires broader updates for transfer; factual association favors later layers among localized adapters; behavioral learning separates late-layer action acquisition from middle-layer policy gating; and causal and procedural transfer benefit most from middle- or full-stack adaptation. These patterns largely persist under parameter-matched controls, and most corresponding directional contrasts replicate across five model families. These findings establish adaptation site as a key design variable for controlling what models learn, generalize, and leave unchanged.
• Abstract（参考訳）: トランスフォーマー適応は通常、意図した変更が狭い場合でもモデル深度に分散する。 適応サイトがモデルがどのように学習するか、その学習がいかに一般化するか、どのようにそれを選択的に適用するかについて検討する。 本稿では,5つの目標(語彙結合,事実関連,行動ポリシー学習,因果写像,手続き的推論)を対象とし,各目標の「適応幾何学」を,全スタック,初期,中,後期のLoRAの下での獲得,移動,有界性のプロファイルとして定義する。 目的は異なる地形を示す。 語彙的結合は、獲得と有界性のためにアーリー・レイヤ適応を好むが、転送にはより広範な更新が必要である;事実的結合は、ローカライズドアダプタ間の後層を好む;行動学習は、中間層ポリシーゲーティングから後期層アクション獲得を分離する;因果的および手続き的転送は、中層またはフルスタック適応から最も恩恵を受ける。 これらのパターンは、パラメータマッチング制御の下で主に持続し、ほとんどの対応する方向コントラストは、5つのモデルファミリ間で複製される。 これらの結果は、モデルを学習し、一般化し、そのまま残すための重要な設計変数として適応サイトを確立する。

関連論文リスト

• Loss Smoothing for Stable Adaptation Under Distribution Shift [33.43907011755832]
  損失平滑化(Loss smoothing)は、適応開始時のソースと目標トレーニング目標を補間するシンプルなアプローチである。 制御された教師付きシフト、事前訓練された視覚適応、オフラインからオンラインへの強化学習、および言語モデルの微調整などにより、損失の平滑化はパフォーマンスを継続的に改善する。
  論文  参考訳（メタデータ） (2026-07-01T08:47:48Z)
• From Weights to Activations: Is Steering the Next Frontier of Adaptation? [24.89959346599616]
  言語モデルの訓練後適応は、パラメータ更新や入力ベースの手法によって一般的に達成される。 我々は、ステアリングをモデル適応の一形態と見なすべきであると主張する。
  論文  参考訳（メタデータ） (2026-04-15T17:06:25Z)
• $\boldsymbolλ$-Orthogonality Regularization for Compatible Representation Learning [48.264642951728085]
  検索システムは、ますます強力なモデルによって学習される表現に依存している。 学習表現における学習コストと不整合のため、表現間のコミュニケーションを促進することには大きな関心がある。
  論文  参考訳（メタデータ） (2025-09-20T12:35:07Z)
• GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters [61.51810815162003]
  制御された生成タスクに対してフレキシブルかつパラメータ効率の良い微調整を可能にするSE(3)-equivariant Adapter framework(GeoAda)を提案する。 GeoAdaは、過剰適合と破滅的な忘れを緩和しながら、モデルの幾何的一貫性を保っている。 我々は、フレーム制御、グローバル制御、サブグラフ制御、広範囲のアプリケーションドメインを含む多様な幾何学的制御タイプにまたがるGeoAdaの適用性を実証する。
  論文  参考訳（メタデータ） (2025-07-02T18:44:03Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Self-Expansion of Pre-trained Models with Mixture of Adapters for Continual Learning [21.19820308728003]
  継続学習(CL)は、学習した知識を壊滅的に忘れることなく、定常的でないデータストリームから継続的に知識を蓄積することを目的としている。 既存の PTM ベースの CL メソッドは、これらのモジュールの固定セットへの制限された適応を使用して、忘れることを避ける。 PTM CL における安定性・塑性バランスの制御を強化する新しい手法である Modularized Adaptation (SEMA) を用いた事前学習モデルの自己拡張を提案する。
  論文  参考訳（メタデータ） (2024-03-27T17:59:21Z)
• Layerwise complexity-matched learning yields an improved model of cortical area V2 [12.861402235256207]
  ディープニューラルネットワークは、人間の能力にアプローチするオブジェクト認識のためのエンドツーエンドを訓練した。 我々は,連続する層に独立して機能する自己指導型トレーニング手法を開発した。 本モデルは, 霊長類領域V2における選択性特性と神経活動に適合していることが示唆された。
  論文  参考訳（メタデータ） (2023-12-18T18:37:02Z)
• Transformer-Based Source-Free Domain Adaptation [134.67078085569017]
  本研究では,ソースフリードメイン適応(SFDA)の課題について検討する。 我々は、FDAの一般化モデルを学ぶためのTransformer(TransDA)という、汎用的で効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-28T23:06:26Z)
• Self-supervised Augmentation Consistency for Adapting Semantic Segmentation [56.91850268635183]
  本稿では,実用的かつ高精度な意味セグメンテーションのためのドメイン適応手法を提案する。 私たちは標準データ拡張技術である$-$フォトメトリックノイズ、フリップとスケーリング$-$を採用し、セマンティック予測の一貫性を保証する。 適応後の最先端セグメンテーション精度を大幅に改善し、バックボーンアーキテクチャと適応シナリオの異なる選択に整合性を持たせる。
  論文  参考訳（メタデータ） (2021-04-30T21:32:40Z)
• Epigenetic evolution of deep convolutional models [81.21462458089142]
  我々は、より深い畳み込みモデルを進化させるために、これまで提案されていた神経進化の枠組みを構築した。 異なる形状と大きさのカーネルを同一層内に共存させる畳み込み層配置を提案する。 提案したレイアウトにより、畳み込み層内の個々のカーネルのサイズと形状を、対応する新しい突然変異演算子で進化させることができる。
  論文  参考訳（メタデータ） (2021-04-12T12:45:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。