論文の概要: ModelGiF: Gradient Fields for Model Functional Distance
- arxiv url: http://arxiv.org/abs/2309.11013v1
- Date: Wed, 20 Sep 2023 02:27:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 13:18:44.183917
- Title: ModelGiF: Gradient Fields for Model Functional Distance
- Title（参考訳）: modelgif: モデル機能距離のための勾配場
- Authors: Jie Song, Zhengqi Xu, Sai Wu, Gang Chen, Mingli Song
- Abstract要約: モデル勾配場(ModelGiF)を導入し,事前学習モデルから同質表現を抽出する。
我々の主要な前提は、各事前学習された深層モデルが入力空間上のモデルGiFを一意に決定するということである。
本稿では,タスク関連性評価,知的財産保護,モデル未学習検証などのテストベッドを用いたモデルGiFの有効性を検証する。
- 参考スコア（独自算出の注目度）: 45.183991610710045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The last decade has witnessed the success of deep learning and the surge of
publicly released trained models, which necessitates the quantification of the
model functional distance for various purposes. However, quantifying the model
functional distance is always challenging due to the opacity in inner workings
and the heterogeneity in architectures or tasks. Inspired by the concept of
"field" in physics, in this work we introduce Model Gradient Field (abbr.
ModelGiF) to extract homogeneous representations from the heterogeneous
pre-trained models. Our main assumption underlying ModelGiF is that each
pre-trained deep model uniquely determines a ModelGiF over the input space. The
distance between models can thus be measured by the similarity between their
ModelGiFs. We validate the effectiveness of the proposed ModelGiF with a suite
of testbeds, including task relatedness estimation, intellectual property
protection, and model unlearning verification. Experimental results demonstrate
the versatility of the proposed ModelGiF on these tasks, with significantly
superiority performance to state-of-the-art competitors. Codes are available at
https://github.com/zju-vipa/modelgif.
- Abstract（参考訳）: 過去10年間、ディープラーニングの成功と、さまざまな目的のためにモデル機能距離の定量化を必要とする、公開されたトレーニングモデルの増加を目の当たりにしてきた。
しかしながら、モデル関数距離の定量化は、内部作業の不透明さと、アーキテクチャやタスクの多様性のため、常に困難である。
物理学における「場」の概念に着想を得て,不均質な事前学習モデルから均質表現を抽出するために,モデル勾配場(モデルgif)を導入した。
ModelGiFの主な前提は、各事前訓練されたディープモデルが入力空間上のModelGiFを一意に決定することである。
したがって、モデル間の距離はモデルGiF間の類似性によって測定できる。
提案するモデルgifの有効性を,タスク関連度推定,知的財産保護,モデルアンラーニング検証など,一連のテストベッドを用いて検証する。
実験の結果, 提案するモデルgifの汎用性が実証され, 最先端のコンペティタに対して優れた性能が得られた。
コードはhttps://github.com/zju-vipa/modelgifで入手できる。
関連論文リスト
- EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - MGE: A Training-Free and Efficient Model Generation and Enhancement
Scheme [10.48591131837771]
本稿では,MGE(Merning-free and Efficient Model Generation and Enhancement Scheme)を提案する。
モデル生成プロセスにおいて、モデルパラメータの分布とモデルパフォーマンスの2つの側面を考慮する。
実験の結果、生成したモデルは通常の訓練によって得られたモデルに匹敵し、場合によっては優れていることが示された。
論文 参考訳（メタデータ） (2024-02-27T13:12:00Z) - Has Your Pretrained Model Improved? A Multi-head Posterior Based
Approach [25.927323251675386]
我々は、世界的知識の源として各エンティティに関連するメタ機能を活用し、モデルからエンティティ表現を採用する。
本稿では,これらの表現とメタ機能との整合性を,事前学習モデルの評価指標として用いることを提案する。
提案手法の有効性は,関係データセットを用いたモデル,大規模言語モデル,画像モデルなど,様々な領域で実証されている。
論文 参考訳（メタデータ） (2024-01-02T17:08:26Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - The Languini Kitchen: Enabling Language Modelling Research at Different
Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。
私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。
この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文 参考訳（メタデータ） (2023-09-20T10:31:17Z) - Model Provenance via Model DNA [23.885185988451667]
本稿では,機械学習モデルの特徴を表現した新しいモデルDNAについて紹介する。
本研究では,対象モデルの事前学習モデルであるかどうかを識別できるモデル証明同定のための効率的なフレームワークを開発する。
論文 参考訳（メタデータ） (2023-08-04T03:46:41Z) - Revisiting Implicit Models: Sparsity Trade-offs Capability in
Weight-tied Model for Vision Tasks [4.872984658007499]
ディープ平衡モデル(Deep Equilibrium Models, DEQ)のような暗黙のモデルは、無限層のモデルを訓練する能力によって、コミュニティにおいて大きな注目を集めている。
暗黙のモデルの行を再検討し、それらを元の重み付けモデルに遡る。
驚くべきことに、重み付けモデルの方がDECの変種と比較して、より効率的で、安定であり、視覚タスク上でも効率的である。
論文 参考訳（メタデータ） (2023-07-16T11:45:35Z) - Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。
しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。
これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
論文 参考訳（メタデータ） (2023-04-05T07:28:33Z) - Interpretable ODE-style Generative Diffusion Model via Force Field
Construction [0.0]
本稿では,数理的な観点からODE型生成拡散モデルを構築するのに適した様々な物理モデルを特定することを目的とする。
我々は,本手法で同定された理論モデルを用いて,新しい拡散モデル手法の開発を行うケーススタディを行う。
論文 参考訳（メタデータ） (2023-03-14T16:58:11Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。