論文の概要: Learning Model Representations Using Publicly Available Model Hubs

• arxiv url: http://arxiv.org/abs/2510.02096v1
• Date: Thu, 02 Oct 2025 15:04:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:21.17461
• Title: Learning Model Representations Using Publicly Available Model Hubs
• Title（参考訳）: 公開モデルハブを用いたモデル表現の学習
• Authors: Damian Falk, Konstantin Schürholt, Konstantinos Tzevelekakis, Léo Meynent, Damian Borth,
• Abstract要約: 本研究では、非構造モデル集団を扱うために設計された新しい重み空間バックボーンを提案する。 本稿では,Hugging Faceのモデルでトレーニングした重み空間表現が,高い性能を実現することを実証する。 高品質な重み空間表現は野生では学べることを示す。
• 参考スコア（独自算出の注目度）: 10.787107620883946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The weights of neural networks have emerged as a novel data modality, giving rise to the field of weight space learning. A central challenge in this area is that learning meaningful representations of weights typically requires large, carefully constructed collections of trained models, typically referred to as model zoos. These model zoos are often trained ad-hoc, requiring large computational resources, constraining the learned weight space representations in scale and flexibility. In this work, we drop this requirement by training a weight space learning backbone on arbitrary models downloaded from large, unstructured model repositories such as Hugging Face. Unlike curated model zoos, these repositories contain highly heterogeneous models: they vary in architecture and dataset, and are largely undocumented. To address the methodological challenges posed by such heterogeneity, we propose a new weight space backbone designed to handle unstructured model populations. We demonstrate that weight space representations trained on models from Hugging Face achieve strong performance, often outperforming backbones trained on laboratory-generated model zoos. Finally, we show that the diversity of the model weights in our training set allows our weight space model to generalize to unseen data modalities. By demonstrating that high-quality weight space representations can be learned in the wild, we show that curated model zoos are not indispensable, thereby overcoming a strong limitation currently faced by the weight space learning community.
• Abstract（参考訳）: ニューラルネットワークの重みは、新しいデータモダリティとして現れ、重み空間学習の分野を生み出している。 この領域の中心的な課題は、重みの有意義な表現を学習するためには、通常、訓練されたモデルの大規模な、慎重に構築されたコレクション(通常、モデル動物園と呼ばれる)が必要であることである。 これらのモデル動物園は、しばしばアドホックで訓練され、大きな計算資源を必要とし、学習された重量空間のスケールと柔軟性を制限している。 本研究では,Hugging Faceのような大規模で非構造化のモデルリポジトリからダウンロードされた任意のモデル上で,重み空間学習のバックボーンをトレーニングすることで,この要件を解消する。 キュレートされたモデル動物園とは異なり、これらのリポジトリは非常に異質なモデルが含まれており、アーキテクチャやデータセットによって異なり、ほとんど文書化されていない。 このような不均一性によって引き起こされる方法論的課題に対処するために、非構造モデル集団を扱うために設計された新しい重み空間バックボーンを提案する。 本研究では,Hugging Face モデルを用いてトレーニングした重量空間表現が,実験室生成モデル動物園で訓練した背骨よりも優れた性能を示すことを示す。 最後に、トレーニングセットにおけるモデルの重みの多様性により、我々の重み空間モデルは、目に見えないデータモダリティに一般化できることを示す。 高品質な重量空間表現が野生で学習できることを実証することにより、培養されたモデル動物園は必須ではないことを示し、現在重量空間学習コミュニティが直面している強い限界を克服する。

関連論文リスト

• Evolution without Large Models: Training Language Model with Task Principles [52.44569608690695]
  言語モデルの一般的なトレーニングアプローチは、人間が提供したデータセットを拡張するために、大規模な言語モデルを使用することである。 この方法は、広範囲な人的データアノテーションの必要性を排除し、トレーニングコストを大幅に削減する。 しかし、データ拡張時の二酸化炭素排出量の増加や、データ漏洩のリスクなど、依然として課題に直面している。
  論文  参考訳（メタデータ） (2025-07-08T13:52:45Z)
• GRAM: A Generative Foundation Reward Model for Reward Generalization [48.63394690265176]
  まず,大規模教師なし学習を用いて学習し,教師付き学習により微調整を行う生成報酬モデルを開発した。 このモデルは、応答ランキング、人間のフィードバックからの強化学習、微調整によるタスク適応など、様々なタスクをうまく一般化する。
  論文  参考訳（メタデータ） (2025-06-17T04:34:27Z)
• A Model Zoo of Vision Transformers [6.926413609535758]
  視覚変換器の最初のモデル動物園(ViT)を紹介する。 近年のトレーニング手法をより良く表現するために,事前学習と微調整の両方を包含するモデル動物園生成のための新しい青写真を開発する。 それらは大量の生成因子で慎重に生成され、その多様性は重量空間と行動メトリクスの完全な選択によって検証される。
  論文  参考訳（メタデータ） (2025-04-14T13:52:26Z)
• The Impact of Model Zoo Size and Composition on Weight Space Learning [8.11780615053558]
  トレーニングされたニューラルネットワークモデルを再利用することは、トレーニングコストを削減し、知識を伝達する一般的な戦略である。 重量宇宙学習は、将来のタスクのために事前訓練されたモデルの集団を再利用するための、有望な新しい分野である。 そこで本研究では,異種集団の訓練に適応する共通重み空間学習法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T11:54:06Z)
• Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
  限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。 このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。 我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
  論文  参考訳（メタデータ） (2024-02-07T13:41:53Z)
• Learning the 3D Fauna of the Web [70.01196719128912]
  3D-Faunaは,100種以上の動物種を対象に,パンカテゴリーで変形可能な3D動物モデルを共同で学習する手法である。 動物モデリングにおける重要なボトルネックの1つは、トレーニングデータの可用性の制限である。 従来のカテゴリー固有の試みは,訓練画像に制限のある希少種への一般化に失敗することを示す。
  論文  参考訳（メタデータ） (2024-01-04T18:32:48Z)
• Model Zoos: A Dataset of Diverse Populations of Neural Network Models [2.7167743929103363]
  ニューラルネットワークモデルの体系的生成と多様な集団を含むモデル動物園の新しいデータセットを公表する。 データセットはwww.modelzoos.ccにある。
  論文  参考訳（メタデータ） (2022-09-29T13:20:42Z)
• Hyper-Representations as Generative Models: Sampling Unseen Neural Network Weights [2.9678808525128813]
  我々は、新しいモデルウェイトをサンプリングするために、生成的使用のためのハイパー表現を拡張した。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-29T12:53:58Z)
• Hyper-Representations for Pre-Training and Transfer Learning [2.9678808525128813]
  我々は、生成的使用のためのハイパー表現を拡張して、事前学習として新しいモデルウェイトをサンプリングする。 以上の結果から, モデル動物園からハイパー表現による新しいモデルへの知識集約の可能性が示唆された。
  論文  参考訳（メタデータ） (2022-07-22T09:01:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。