論文の概要: Cross-Model Transfer of Task Vectors via Few-Shot Orthogonal Alignment

• arxiv url: http://arxiv.org/abs/2505.12021v1
• Date: Sat, 17 May 2025 14:24:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.994911
• Title: Cross-Model Transfer of Task Vectors via Few-Shot Orthogonal Alignment
• Title（参考訳）: Few-Shot直交アライメントによるタスクベクトルのクロスモデル転送
• Authors: Kazuhiko Kawamoto, Atsuhiro Endo, Hiroshi Kera,
• Abstract要約: タスク演算は、タスク固有の変更をパラメータ空間内のベクトルとして表現することで、効率的なモデル編集を可能にする。 この仮定は、モデルが異なるデータセットで独立して事前トレーニングされるクロスモデル転送設定に適用性を制限する。 本稿では,タスクベクトルを異なる事前学習対象モデルのパラメータ空間にアライメントする,少数ショットアライメントに基づく手法を提案する。
• 参考スコア（独自算出の注目度）: 5.2980803808373516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task arithmetic enables efficient model editing by representing task-specific changes as vectors in parameter space. Task arithmetic typically assumes that the source and target models are initialized from the same pre-trained parameters. This assumption limits its applicability in cross-model transfer settings, where models are independently pre-trained on different datasets. To address this challenge, we propose a method based on few-shot orthogonal alignment, which aligns task vectors to the parameter space of a differently pre-trained target model. These transformations preserve key properties of task vectors, such as norm and rank, and are learned using only a small number of labeled examples. We evaluate the method using two Vision Transformers pre-trained on YFCC100M and LAION400M, and test on eight classification datasets. Experimental results show that our method improves transfer accuracy over direct task vector application and achieves performance comparable to few-shot fine-tuning, while maintaining the modularity and reusability of task vectors. Our code is available at https://github.com/kawakera-lab/CrossModelTransfer.
• Abstract（参考訳）: タスク演算は、タスク固有の変更をパラメータ空間内のベクトルとして表現することで、効率的なモデル編集を可能にする。 タスク算術は典型的には、ソースモデルとターゲットモデルは、同じ事前訓練されたパラメータから初期化されていると仮定する。 この仮定は、モデルが異なるデータセットで独立して事前トレーニングされるクロスモデル転送設定に適用性を制限する。 この課題に対処するために,タスクベクトルを異なる事前学習対象モデルのパラメータ空間にアライメントする,少数ショット直交アライメントに基づく手法を提案する。 これらの変換はノルムやランクなどのタスクベクトルの重要な性質を保持し、少数のラベル付き例でのみ学習される。 本手法は,YFCC100MとLAION400Mで事前学習した2つのビジョン変換器を用いて評価し,8つの分類データセットで検証した。 実験結果から,本手法は直接タスクベクトルアプリケーションよりも転送精度を向上し,タスクベクトルのモジュラリティと再利用性を維持しつつ,数ショットの微調整に匹敵する性能を実現することが示された。 私たちのコードはhttps://github.com/kawakera-lab/CrossModelTransferで利用可能です。

関連論文リスト

• Efficient Model Editing with Task-Localized Sparse Fine-tuning [14.792099973449794]
  そこで本稿では,明示的な線形化を必要とせず,最小限の干渉でスパースタスクベクトルを構築できるTaLoSを提案する。 事前学習されたモデルには、タスク間の勾配感度が一貫して低いパラメータのサブセットが含まれていることがわかった。 実験により,TaLoSは,タスクの追加や否定において,現在の手法より優れている一方で,トレーニングと推論の効率が向上することが証明された。
  論文  参考訳（メタデータ） (2025-04-03T14:20:06Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Knowledge Composition using Task Vectors with Learned Anisotropic Scaling [51.4661186662329]
  本稿では,パラメータブロックと異なる学習係数を線形に組み合わせ,タスクベクトルレベルでの異方性スケーリングを実現するアルゴリズムであるaTLASを紹介する。 このような線形結合は事前学習されたモデルの低内在性を明示的に利用しており、学習可能なパラメータは数係数のみであることを示す。 本稿では,タスク算術,少数ショット認識,テスト時間適応において,教師なしあるいは教師なしの目的を用いた手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T07:54:08Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• Transferability Metrics for Object Detection [0.0]
  Transfer Learningは、既存のトレーニング済みモデルを最大限に活用して、限られたデータシナリオで新しいタスクのパフォーマンスを向上させることを目的としている。 我々は、ROI-Align と TLogME を用いて、転送可能性のメトリクスをオブジェクト検出に拡張する。 我々は,TLogMEが転送性能とロバストな相関を示し,局所的およびグローバルなレベルの特性で他の転送可能性指標より優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-27T08:49:31Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Aligning Pretraining for Detection via Object-Level Contrastive Learning [57.845286545603415]
  画像レベルのコントラスト表現学習は、伝達学習の汎用モデルとして非常に有効であることが証明されている。 我々は、これは準最適である可能性があり、従って、自己教師付きプレテキストタスクと下流タスクのアライメントを促進する設計原則を提唱する。 Selective Object Contrastive Learning (SoCo) と呼ばれる本手法は,COCO検出における伝達性能の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-04T17:59:52Z)
• Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
  diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
  論文  参考訳（メタデータ） (2020-12-14T12:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。