論文の概要: Learning Cross-Model Activation Alignments with Explicit Many-to-Many Layer Maps

• arxiv url: http://arxiv.org/abs/2610.09058v1
• Date: Tue, 06 Oct 2026 20:08:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.59076
• Title: Learning Cross-Model Activation Alignments with Explicit Many-to-Many Layer Maps
• Title（参考訳）: 明示的な多対多のレイヤーマップを用いたモデル間アクティベーションアライメントの学習
• Abstract要約: 私たちは2つの独立して訓練されたモデルがどのように関連しているかを学びます。 提案手法であるMATCHAは,出力が明示的なターゲット・バイ・ソース・マトリクスである層マップにこのマップを分解する。 3つの異なるファミリーにまたがる7つのモデルの42組にわたって、MATCHAは目標の活性化をより忠実に再構築する。
• 参考スコア（独自算出の注目度）: 27.954798116390787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLMs are released at a rapid pace, raising a natural question: how do two independently trained models relate, both in which layers correspond and in how features transform between them? We study this by learning an activation alignment, a map from a source model's layerwise activations to a target's. Our method, MATCHA, factors this map into a layer map, whose output is an explicit target-by-source matrix that can be extracted and inspected, and a layer-shared feature map between hidden spaces. Most of prior work fixes the layer correspondence in advance, pairing layers at roughly the same relative depth; in contrast, we learn both factors jointly from prompts. Across 42 pairs of seven models spanning three different families, MATCHA reconstructs the target's activations more faithfully and improves retrieval-based metrics substantially, w.r.t. previous approaches. The recovered maps are broadly monotone in depth but, in contrast with most previous approaches, are consistently many-to-many: each target layer draws on a band of source layers. Our alignments also enable transfer of activation-space interventions, allowing steering vectors and probes developed for one model to transfer to another.
• Abstract（参考訳）: LLMは急速にリリースされ、自然な疑問が浮かび上がっています。2つの独立したトレーニングされたモデルは、どのレイヤがどのレイヤに対応しているか、どのように機能変換するのか、といった点において、どのように関係するのでしょうか? 本研究では、ソースモデルの階層的活性化からターゲットへの写像であるアクティベーションアライメントアライメント(活性化アライメント)を学習することにより、これを研究する。 提案手法であるMATCHAは,その出力が抽出・検査可能な明示的なターゲット・バイ・ソース・マトリクスである層マップと,隠れ空間間の層共有特徴マップに分解する。 以前の作業のほとんどは、前もってレイヤーの対応を修正し、ペアリング層はほぼ同じ相対的な深さで、対照的に、どちらの要因もプロンプトから一緒に学習する。 3つの異なるファミリーにまたがる7つのモデルのうち42組にわたって、MATCHAはターゲットのアクティベーションをより忠実に再構築し、以前のアプローチのように検索ベースのメトリクスを大幅に改善する。 復元されたマップは、深さが広く単調であるが、これまでのほとんどのアプローチとは対照的に、常に多対多であり、それぞれのターゲット層は、複数のソース層に描画される。 我々のアライメントは、アクティベーション空間の介入の転送を可能にし、あるモデルのために開発されたベクトルとプローブを別のモデルに転送することを可能にする。

関連論文リスト

• STEP: Learning STructured Embeddings for Progressive Time Series [1.034052616244602]
  本稿では,プログレッシブ時系列の解釈可能な表現を学習するための新しい手法を提案する。 我々の手法は、低次元の潜在空間を学習するために、自己教師付きコントラスト的目的を用いている。 多様な領域における最先端技術に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2026-05-29T09:33:34Z)
• Do All Individual Layers Help? An Empirical Study of Task-Interfering Layers in Vision-Language Models [51.754991950934375]
  事前トレーニングされたVLMでは、すべてのレイヤがデフォルトで実行され、下流タスクで予測される。 パラメータをゼロにすることで、ひとつの層にインターベンションすることで、特定のタスクのパフォーマンスを向上させることができる。 与えられたタスクに対して最も干渉するレイヤを動的に識別し、バイパスする、トレーニング不要なテスト時間適応手法であるTaLoを提案する。
  論文  参考訳（メタデータ） (2026-02-01T11:37:05Z)
• A Sliding Layer Merging Method for Efficient Depth-Wise Pruning in LLMs [13.000188564679998]
  本稿では,再現カーネルHilbert空間内の異なるレイヤの出力の相関関係を解析することにより,大規模言語モデルにおけるPatch-like'の特徴関係を明らかにする。 本研究では, 連続層を上から下へ動的に選択・融合するスライディング層マージ法について, 予め定義された類似度閾値に従って提案する。 提案手法は,ゼロショット推論性能と再学習後の回復品質の両方において,既存のプルーニング技術より優れる。
  論文  参考訳（メタデータ） (2025-02-26T14:15:24Z)
• Auxiliary Tasks Enhanced Dual-affinity Learning for Weakly Supervised Semantic Segmentation [79.05949524349005]
  AuxSegNet+は、サリエンシマップから豊富な情報を探索する弱教師付き補助学習フレームワークである。 また,サリエンシとセグメンテーションの特徴マップから画素レベルの親和性を学習するためのクロスタスク親和性学習機構を提案する。
  論文  参考訳（メタデータ） (2024-03-02T10:03:21Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• SSMTL++: Revisiting Self-Supervised Multi-Task Learning for Video Anomaly Detection [108.57862846523858]
  自己教師型マルチタスク学習フレームワークを再考し、元の手法にいくつかのアップデートを提案する。 マルチヘッド・セルフアテンション・モジュールを導入することで3次元畳み込みバックボーンを近代化する。 モデルをさらに改良するために,セグメントマップの予測などの自己指導型学習タスクについて検討した。
  論文  参考訳（メタデータ） (2022-07-16T19:25:41Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Associating Multi-Scale Receptive Fields for Fine-grained Recognition [5.079292308180334]
  マルチスケールの受容場を2つの操作で関連付けるために,新しい多層非局所(CNL)モジュールを提案する。 CNLはクエリ層とすべてのレスポンス層の間の相関を計算する。 モデルでは,多層層間の空間的依存関係を構築し,より識別的な特徴を学習する。
  論文  参考訳（メタデータ） (2020-05-19T01:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。