論文の概要: Model Reprogramming Demystified: A Neural Tangent Kernel Perspective

• arxiv url: http://arxiv.org/abs/2506.00620v1
• Date: Sat, 31 May 2025 16:15:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.37095
• Title: Model Reprogramming Demystified: A Neural Tangent Kernel Perspective
• Title（参考訳）: モデル再プログラミングデミスティフィケーション:ニューラル・タンジェント・カーネル・パースペクティブ
• Authors: Ming-Yu Chung, Jiashuo Fan, Hancheng Ye, Qinsi Wang, Wei-Chen Shen, Chia-Mu Yu, Pin-Yu Chen, Sy-Yen Kuo,
• Abstract要約: 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークのレンズを用いて,モデル再プログラミング(MR)の包括的理論的解析を行う。 目的とするデータセット上でのNTK行列の固有値スペクトルによってMRの成功が制御されることを示す。 我々の貢献には、MRの新たな理論フレームワーク、ソースモデルとターゲットモデルの関係に関する洞察、そして我々の発見を検証した広範な実験が含まれる。
• 参考スコア（独自算出の注目度）: 49.42322600160337
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model Reprogramming (MR) is a resource-efficient framework that adapts large pre-trained models to new tasks with minimal additional parameters and data, offering a promising solution to the challenges of training large models for diverse tasks. Despite its empirical success across various domains such as computer vision and time-series forecasting, the theoretical foundations of MR remain underexplored. In this paper, we present a comprehensive theoretical analysis of MR through the lens of the Neural Tangent Kernel (NTK) framework. We demonstrate that the success of MR is governed by the eigenvalue spectrum of the NTK matrix on the target dataset and establish the critical role of the source model's effectiveness in determining reprogramming outcomes. Our contributions include a novel theoretical framework for MR, insights into the relationship between source and target models, and extensive experiments validating our findings.
• Abstract（参考訳）: モデル再プログラミング(MR)は、大きな事前訓練されたモデルを最小限の追加パラメータとデータで新しいタスクに適用する、リソース効率の高いフレームワークである。 コンピュータビジョンや時系列予測など、様々な領域で実証的な成功にもかかわらず、MRの理論的基礎は未解明のままである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークのレンズによるMRの包括的理論的解析について述べる。 本研究では,ターゲットデータセット上のNTK行列の固有値スペクトルによってMRの成功が制御され,再プログラム結果を決定する上でのソースモデルの有効性が重要な役割を担っていることを実証する。 我々の貢献には、MRの新たな理論フレームワーク、ソースモデルとターゲットモデルの関係に関する洞察、そして我々の発見を検証した広範な実験が含まれる。

関連論文リスト

• Theoretical Insights into Overparameterized Models in Multi-Task and Replay-Based Continual Learning [36.92660589442233]
  マルチタスク学習(MTL)は,複数のタスクを同時に学習することで,複数のタスクにおけるモデルの一般化性能を向上させることを目的としている。 連続学習(CL)は、以前取得した知識を忘れずに、時間とともに新しい逐次到着タスクに適応する。 MTL設定におけるモデルの性能に及ぼす各種システムパラメータの影響を理論的に記述する。 その結果,バッファサイズとモデルキャパシティがCLセットアップの記憶率に及ぼす影響を明らかにし,最先端のCL手法のいくつかに光を当てるのに役立つことがわかった。
  論文  参考訳（メタデータ） (2024-08-29T23:22:40Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Incorporating Domain Knowledge in Deep Neural Networks for Discrete Choice Models [0.5801044612920815]
  本稿では,DCMにおけるデータ駆動型アプローチの可能性を拡張するフレームワークを提案する。 これには、必要な関係を表す擬似データサンプルと、その実現度を測定する損失関数が含まれる。 ケーススタディは、このフレームワークの個別選択分析の可能性を示している。
  論文  参考訳（メタデータ） (2023-05-30T12:53:55Z)
• Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning [65.268245109828]
  視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
  論文  参考訳（メタデータ） (2022-02-22T02:33:54Z)
• Kernel-Based Models for Influence Maximization on Graphs based on Gaussian Process Variance Minimization [9.357483974291899]
  グラフ上の新しい影響モデル(IM)の導入と検討を行う。 データ駆動アプローチは、このIMモデルの適切なカーネルを決定するために適用することができる。 この分野でコストのかかるモンテカルロシミュレーションに依存するモデルと比較して、我々のモデルはシンプルでコスト効率のよい更新戦略を可能にする。
  論文  参考訳（メタデータ） (2021-03-02T08:55:34Z)
• Goal-Directed Planning for Habituated Agents by Active Inference Using a Variational Recurrent Neural Network [5.000272778136268]
  本研究では, 予測符号化(PC)とアクティブ推論(AIF)フレームワークが, 低次元潜在状態空間における事前分布を学習することにより, より優れた一般化を実現できることを示す。 提案モデルでは, 最適潜伏変数を推定し, 実験結果の最小化のためのシナプス重みを推定することにより学習を行う。 提案手法は,シミュレーションにおけるロボットタスクと複雑なロボットタスクの両方を用いて評価し,限られた学習データを用いた学習における十分な一般化を実証した。
  論文  参考訳（メタデータ） (2020-05-27T06:43:59Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。