論文の概要: WeightCLIP: Aligning Datasets and Models for Weight Space Learning

• arxiv url: http://arxiv.org/abs/2607.03551v1
• Date: Fri, 03 Jul 2026 18:27:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.646571
• Title: WeightCLIP: Aligning Datasets and Models for Weight Space Learning
• Title（参考訳）: 重みCLIP:重み空間学習のためのデータセットとモデル
• Authors: Aron Asefaw, Konstantinos Tzevelekakis, Damian Falk, Léo Meynent, Damian Borth,
• Abstract要約: WeightCLIPは,ニューラルネットワークのためのデータセット整列潜在空間を学習する手法である。 NNはオートエンコーダを使用して遅延表現としてエンコードされ、データセットサンプルはデータセットエンコーダを使用してエンコードされる。 このような表現は、データセット情報を強力なモデルにデコードする重み空間表現にマッピングするなど、異なる下流タスクに使用できることを実証する。
• 参考スコア（独自算出の注目度）: 7.687988999964667
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight space learning aims to learn representations of neural network (NN) weights, enabling different downstream tasks. Existing approaches show promising performance, but lacking a way to shape these weight-space representations using information about the datasets the models were trained on, thus limiting downstream applications. We propose WeightCLIP, a method for learning a dataset-aligned latent space for neural networks, where datasets information is induced during training. The NNs are encoded as latent representations using an autoencoder, while dataset samples are encoded using a dataset encoder. The two representations are aligned using a contrastive objective, effectively reshaping the weight-space representations according to the datasets. We demonstrate that such representations can be used for different downstream tasks, including mapping dataset information to a weight-space representation that decode to strong models. In addition, we introduce a latent refinement process for generating models that outperforms standard fine-tuning. Overall, our results demonstrate that explicitly incorporating dataset information improves what can be achieved with weight-space representations across retrieval, generation, and refinement. Code will be available at https://github.com/HSG-AIML/WeightCLIP.
• Abstract（参考訳）: 重み空間学習は、ニューラルネットワーク(NN)重みの表現を学習することを目的としており、異なる下流タスクを可能にする。 既存のアプローチは、有望なパフォーマンスを示しているが、モデルがトレーニングしたデータセットに関する情報を使用して、これらの重み空間表現を形成する方法がないため、下流アプリケーションを制限することができる。 WeightCLIPは、トレーニング中にデータセット情報が誘導されるニューラルネットワークのためのデータセット整列潜在空間を学習する手法である。 NNはオートエンコーダを使用して遅延表現としてエンコードされ、データセットサンプルはデータセットエンコーダを使用してエンコードされる。 2つの表現は対照的な目的を用いて整列され、データセットに従って重み空間表現を効果的に再構成する。 このような表現は、データセット情報を強力なモデルにデコードする重み空間表現にマッピングするなど、異なる下流タスクに使用できることを実証する。 さらに,標準微調整よりも優れたモデルを生成するための潜時精錬プロセスを導入する。 以上の結果から,データセット情報を明示的に組み込むことで,検索,生成,精細化にまたがる重み空間表現が達成できることが示唆された。 コードはhttps://github.com/HSG-AIML/WeightCLIPで入手できる。

関連論文リスト

• A Survey of Weight Space Learning: Understanding, Representation, and Generation [87.2501236345188]
  重み空間学習は、神経重みを分析とモデリングのための意味のある領域として扱う。 本稿では,既存の手法を,重み空間理解,重み空間表現,重み空間生成の3つの基本次元に分類する。 これらの開発によって、モデル検索、連続的および連合的学習、ニューラルアーキテクチャサーチ、データフリー再構築など、実用的な応用が可能となることを示す。
  論文  参考訳（メタデータ） (2026-03-10T15:32:23Z)
• Ensuring Semantics in Weights of Implicit Neural Representations through the Implicit Function Theorem [4.650983048077127]
  Inlicit Neural Representation (INR)は、軽量空間学習(WSL)のための便利なテストベッドを提供する 我々は、データ空間とその潜在重み表現空間の間の厳密なマッピングを確立するために、IFT(Implicit Function Theorem)をデプロイする。 我々は、インスタンス固有の埋め込みを共有ハイパーネットワークを介してINR重みにマッピングするフレームワークを分析する。
  論文  参考訳（メタデータ） (2026-01-30T17:05:37Z)
• Bringing Balance to Hand Shape Classification: Mitigating Data Imbalance Through Generative Models [0.0]
  我々は、RWTHドイツ語手話ハンドシェープデータセットに基づいて訓練されたEfficientNet分類器を使用する。 提案手法はRWTHデータセットの最先端精度を5%向上させる。
  論文  参考訳（メタデータ） (2025-07-22T20:41:29Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models [61.906934570771256]
  多様な合成画像や知覚アノテーションを生成できる汎用データセット生成モデルを提案する。 本手法は,事前学習した拡散モデルに基づいて,テキスト誘導画像合成を知覚データ生成に拡張する。 拡散モデルのリッチ潜時コードはデコーダモジュールを用いて正確な認識アノテーションとして効果的に復号できることを示す。
  論文  参考訳（メタデータ） (2023-08-11T14:38:11Z)
• Learning a Self-Expressive Network for Subspace Clustering [15.096251922264281]
  本稿では,データ表現の自己表現を学習するために,適切に設計されたニューラルネットワークを用いた,自己表現型ネットワーク(SENet)と呼ばれる,サブスペースクラスタリングのための新しいフレームワークを提案する。 私たちのSENetは、トレーニングデータに望ましい特性を持つ自己表現係数を学習するだけでなく、サンプル外のデータも処理します。 特に、SENetはMNIST、Fashion MNIST、Extended MNISTで高い競争力を発揮し、CIFAR-10で最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2021-10-08T18:06:06Z)
• DeepSatData: Building large scale datasets of satellite images for training machine learning models [77.17638664503215]
  本稿では,機械学習モデルの学習のための衛星画像データセットの自動生成のための設計検討を行う。 本稿では,ニューラルネットワークの深層学習と評価の観点から直面する課題について論じる。
  論文  参考訳（メタデータ） (2021-04-28T15:13:12Z)
• Classifying the classifier: dissecting the weight space of neural networks [16.94879659770577]
  本稿では,ニューラルネットワークの重みに関する実証的研究について述べる。 それぞれのモデルを高次元空間、すなわちニューラルウェイト空間の点として解釈する。 重み空間に関するさらなる研究を促進するため、我々はニューラルウェイト空間(NWS)データセットをリリースする。
  論文  参考訳（メタデータ） (2020-02-13T18:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。