論文の概要: Model Stitching by Functional Latent Alignment

• arxiv url: http://arxiv.org/abs/2505.20142v1
• Date: Mon, 26 May 2025 15:44:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.578778
• Title: Model Stitching by Functional Latent Alignment
• Title（参考訳）: 機能的潜在アライメントによるモデルスティッチ
• Authors: Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg,
• Abstract要約: モデル縫合における新しい最適条件として機能的潜在アライメントを提案する。 FuLAは、タスクキューのトレーニングに結びついているアーティファクトよりも、ステッチレベルのマッチングによって見逃される非自明なアライメントを達成する傾向がある。
• 参考スコア（独自算出の注目度）: 15.714073864196806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating functional similarity involves quantifying the degree to which independently trained neural networks learn functionally similar representations. Reliably inferring the functional similarity of these networks remains an open problem with far-reaching implications for AI. Model stitching has emerged as a promising paradigm, where an optimal affine transformation aligns two models to solve a task, with the stitched model serving as a proxy for functional similarity. In this work, we draw inspiration from the knowledge distillation literature and propose Functional Latent Alignment (FuLA) as a novel optimality condition for model stitching. We revisit previously explored functional similarity testbeds and introduce a new one, based on which FuLA emerges as an overall more reliable method of functional similarity. Specifically, our experiments in (a) adversarial training, (b) shortcut training and, (c) cross-layer stitching, reveal that FuLA is less prone to artifacts tied to training on task cues while achieving non-trivial alignments that are missed by stitch-level matching.
• Abstract（参考訳）: 機能的類似性を評価するには、独立に訓練されたニューラルネットワークが機能的に類似した表現を学習する程度を定量化する必要がある。 これらのネットワークの機能的類似性を確実に推論することは、AIに遠く及ばない影響に対して、依然としてオープンな問題である。 モデル縫合は有望なパラダイムとして現れており、最適アフィン変換は2つのモデルを整列してタスクを解く。 本研究では, 知識蒸留文献からインスピレーションを得て, モデル縫合のための新しい最適条件として, 機能的潜在アライメント (FuLA) を提案する。 我々は以前に機能的類似性テストベッドについて検討し、FuLAが機能的類似性の全体的な信頼性の高い方法として出現する新しい方法を紹介した。 特に我々の実験は (a)敵の訓練 (b)ショートカットトレーニング、及び (c) クロス層縫合では, 縫合レベルマッチングで欠落した非自明なアライメントを達成しつつ, タスクキューのトレーニングに結びついているアーティファクトの傾向が低いことが明らかとなった。

関連論文リスト

• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• Fully Differentiable Correlation-driven 2D/3D Registration for X-ray to CT Image Fusion [3.868072865207522]
  画像ベース剛性2D/3Dレジストレーションは, 蛍光ガイド下外科手術において重要な技術である。 デュアルブランチCNN変換器エンコーダを用いた完全微分型相関型ネットワークを提案する。 組込み情報に基づく低周波特徴と高周波特徴の分解に対して相関型損失を提案する。
  論文  参考訳（メタデータ） (2024-02-04T14:12:51Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Differentiable programming for functional connectomics [0.0]
  本稿では,関数コネクトロミクスで使用される共通操作を,完全に微分可能な処理ブロックとして実装した新しい解析パラダイムとソフトウェアツールボックスを提案する。 この差別化プログラムは、従来のパイプラインとエンドツーエンドのニューラルネットワークの中間に位置する。 我々の成果とソフトウェアは、関数コネクトロミクスのための微分可能プログラミングの可能性を実証している。
  論文  参考訳（メタデータ） (2022-05-31T10:53:31Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Learning Sub-Patterns in Piecewise Continuous Functions [4.18804572788063]
  ほとんどの勾配降下アルゴリズムは、パラメータでサブ微分可能なニューラルネットワークを最適化することができる。 本稿では,異なるサブパターンから不連続が生じる場合に焦点を当てる。 分離された2段階の手順でトレーニング可能な,不連続なディープニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-29T13:44:13Z)
• Multi-task Supervised Learning via Cross-learning [102.64082402388192]
  我々は,様々なタスクを解くことを目的とした回帰関数の集合を適合させることで,マルチタスク学習と呼ばれる問題を考える。 我々の新しい定式化では、これらの関数のパラメータを2つに分けて、互いに近づきながらタスク固有のドメインで学習する。 これにより、異なるドメインにまたがって収集されたデータが、互いのタスクにおける学習パフォーマンスを改善するのに役立つ、クロス・ファーティライズが促進される。
  論文  参考訳（メタデータ） (2020-10-24T21:35:57Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。