論文の概要: From Parameter Rebasin to Functional Transfer Across Heterogeneous Transformers

• arxiv url: http://arxiv.org/abs/2610.32581v1
• Date: Fri, 23 Oct 2026 13:08:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.520299
• Title: From Parameter Rebasin to Functional Transfer Across Heterogeneous Transformers
• Title（参考訳）: パラメータRebasinから不均一変圧器間の機能伝達へ
• Abstract要約: 異種変圧器間でタスク固有の振る舞いを伝達する訓練不要な手法であるAriadneを紹介する。 本稿では,Ariadneが目標モデルの性能を向上させるとともに,更新構築に必要な時間とメモリを大幅に短縮することを示す。
• 参考スコア（独自算出の注目度）: 27.303247924864504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adapting pretrained Transformers to downstream tasks produces task-specific updates that are expensive to reproduce for every model variant. Reusing these updates across different depths and widths is challenging because their parameters have incompatible shapes and do not share a canonical coordinate system. We introduce Ariadne, a training-free method that transfers task-specific behavior across heterogeneous Transformers without resizing the source model or transporting its parameters. Rather than treating the source task vector, i.e. the difference in parameter space between the fine-tuned and the base models, as the object to move, Ariadne characterizes fine-tuning by the activation changes it induces at matched blocks. First, it aligns these effects to a target base through local Procrustes maps. Then, it directly synthesizes a native target update by closed-form ridge regression. Across Transformer expansion, reduction and language-model transfer, Ariadne improves target-model performance while substantially reducing the time and memory required to construct an update relative to previous cross-architecture rebasin approaches. These results show that local functional effects provide an efficient alternative to parameter transport.
• Abstract（参考訳）: トレーニング済みのTransformerをダウンストリームタスクに適合させることで、各モデル変種に対して複製するのにコストがかかるタスク固有の更新が生成される。 これらの更新を異なる深さと幅で再利用することは困難である。なぜなら、それらのパラメータは不整合であり、標準座標系を共有しないからである。 我々は、ソースモデルを変更したりパラメータを転送したりすることなく、不均一なトランスフォーマー間でタスク固有の振る舞いを伝達する、トレーニング不要なAriadneを紹介した。 ソースタスクベクトル、すなわち、微調整されたモデルとベースモデルのパラメータ空間の違いを移動対象として扱うのではなく、アリアドンは、一致したブロックで誘導されるアクティベーションの変化によって微調整を特徴付ける。 まず、これらの効果をローカルなProcrustesマップを通してターゲットベースに整列させる。 そして、クローズドフォームリッジレグレッションにより、ネイティブターゲット更新を直接合成する。 トランスフォーマーの拡張、縮小、言語モデル転送などを通じて、Ariadneはターゲットモデルの性能を改善し、以前のクロスアーキテクチャのリベースアプローチと比較して、更新に必要な時間とメモリを大幅に削減する。 これらの結果から,局所的な機能的効果がパラメータ輸送の代替となることが示唆された。

関連論文リスト

• Training-Free Transformer Merging via Sequential Local Operator Alignment [62.80152875963259]
  トレーニングフリーのモデルマージは、ラベル付きデータにさらなる最適化を加えることなく、複数の微調整されたモデルを単一のモデルに組み合わせることを目的としている。 トランスでは、クエリキーと値出力演算子が合成行列に依存するため、個々のレイヤを独立にマージすることは、共有の注意に影響を与える可能性がある。 本稿では,部分的にマージされたモデルの実行経路に沿ってトランスフォーマーをマージするトレーニングフリーな手法であるSequential Local Operator Alignmentを紹介する。
  論文  参考訳（メタデータ） (2026-10-05T14:30:28Z)
• Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms [41.71279032037811]
  本稿では,大規模ニューラルネットワークのパラメータ効率向上のためのデータ適応手法を提案する。 我々のアプローチは、純粋なレイヤローカルアダプタを低ランク更新原子の共有クエリ可能なメモリに置き換える。
  論文  参考訳（メタデータ） (2026-05-08T19:32:43Z)
• Transporting Task Vectors across Different Architectures without Training [18.853461748616333]
  異種モデルにまたがってタスク固有の更新をトランスポートするためのトレーニング不要な方法であるSoseusを紹介した。 パラメータを直接マッチングするのではなく、中間表現で引き起こされる機能的効果によってタスク更新を特徴付ける。
  論文  参考訳（メタデータ） (2026-02-13T14:16:34Z)
• Continual Adaptation: Environment-Conditional Parameter Generation for Object Detection in Dynamic Scenarios [54.58186816693791]
  環境は時間と空間によって常に変化し、クローズドセットの仮定に基づいて訓練された物体検出器にとって重要な課題となる。 そこで本研究では,微調整過程をパラメータ生成に変換する機構を提案する。 特に,2経路LoRAベースのドメイン認識アダプタを最初に設計し,特徴をドメイン不変およびドメイン固有コンポーネントに分解する。
  論文  参考訳（メタデータ） (2025-06-30T17:14:12Z)
• Cross-Model Transfer of Task Vectors via Few-Shot Orthogonal Alignment [5.2980803808373516]
  タスク演算は、タスク固有の変更をパラメータ空間内のベクトルとして表現することで、効率的なモデル編集を可能にする。 この仮定は、モデルが異なるデータセットで独立して事前トレーニングされるクロスモデル転送設定に適用性を制限する。 本稿では,タスクベクトルを異なる事前学習対象モデルのパラメータ空間にアライメントする,少数ショットアライメントに基づく手法を提案する。
  論文  参考訳（メタデータ） (2025-05-17T14:24:06Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Consolidator: Mergeable Adapter with Grouped Connections for Visual Adaptation [53.835365470800916]
  視覚変換器の知識を効率よく効果的に伝達する方法を示す。 調整可能なパラメータの小さなセットを追加して,事前学習モデルを変更するコンソリケータを提案する。 我々のコンソリエータは、0.35%のパラメータで完全な微調整よりも最大7.56の精度で到達できる。
  論文  参考訳（メタデータ） (2023-04-30T23:59:02Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• Subformer: Exploring Weight Sharing for Parameter Efficiency in Generative Transformers [16.88840622945725]
  パラメータ効率の良いトランスフォーマーモデルであるSubformerを開発した。 機械翻訳、抽象的要約、および言語モデリングに関する実験は、サブフォーマーが大幅に少ないパラメータを使用してもトランスフォーマーを上回ることができることを示しています。
  論文  参考訳（メタデータ） (2021-01-01T13:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。