論文の概要: A Model Zoo on Phase Transitions in Neural Networks

• arxiv url: http://arxiv.org/abs/2504.18072v1
• Date: Fri, 25 Apr 2025 05:01:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.643967
• Title: A Model Zoo on Phase Transitions in Neural Networks
• Title（参考訳）: ニューラルネットワークの相転移に関するモデル動物園
• Authors: Konstantin Schürholt, Léo Meynent, Yefan Zhou, Haiquan Lu, Yaoqing Yang, Damian Borth,
• Abstract要約: 重量空間学習法は、訓練されたモデルの集団を、開発と評価のためのデータセットとして要求する。 モデル動物園と呼ばれる既存のモデルのコレクションは、構造化されていないか、多様性の初歩的な定義に従っている。 我々は、モデル動物園のアイデアとフェーズ情報を組み合わせることで、人口の多様性の制御された概念を創出する。
• 参考スコア（独自算出の注目度）: 12.510848963038992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using the weights of trained Neural Network (NN) models as data modality has recently gained traction as a research field - dubbed Weight Space Learning (WSL). Multiple recent works propose WSL methods to analyze models, evaluate methods, or synthesize weights. Weight space learning methods require populations of trained models as datasets for development and evaluation. However, existing collections of models - called `model zoos' - are unstructured or follow a rudimentary definition of diversity. In parallel, work rooted in statistical physics has identified phases and phase transitions in NN models. Models are homogeneous within the same phase but qualitatively differ from one phase to another. We combine the idea of `model zoos' with phase information to create a controlled notion of diversity in populations. We introduce 12 large-scale zoos that systematically cover known phases and vary over model architecture, size, and datasets. These datasets cover different modalities, such as computer vision, natural language processing, and scientific ML. For every model, we compute loss landscape metrics and validate full coverage of the phases. With this dataset, we provide the community with a resource with a wide range of potential applications for WSL and beyond. Evidence suggests the loss landscape phase plays a role in applications such as model training, analysis, or sparsification. We demonstrate this in an exploratory study of the downstream methods like transfer learning or model weights averaging.
• Abstract（参考訳）: トレーニングされたニューラルネットワーク(NN)モデルの重みをデータモダリティとして使用することで、最近、ウェイトスペースラーニング(WSL)と呼ばれる研究分野として注目を集めている。 複数の最近の研究で、モデルを解析し、評価し、重みを合成するためのWSL法が提案されている。 重量空間学習法は、訓練されたモデルの集団を、開発と評価のためのデータセットとして要求する。 しかし、既存のモデルのコレクション(「モデル動物園」と呼ばれる)は、構造化されていないか、多様性の初歩的な定義に従っている。 並行して、統計物理学に根ざした研究は、NNモデルの相転移と相転移を同定した。 モデルは同じ位相内で均質であるが、質的に別の位相と異なる。 我々は「モデル動物園」という概念とフェーズ情報を組み合わせて、人口の多様性を制御した概念を創出する。 既知のフェーズを体系的にカバーし、モデルアーキテクチャ、サイズ、データセットによって異なる12の大規模動物園を紹介します。 これらのデータセットは、コンピュータビジョン、自然言語処理、科学MLなど、さまざまなモダリティをカバーしている。 すべてのモデルについて、ロスランドスケープのメトリクスを計算し、フェーズの完全なカバレッジを検証する。 このデータセットでは、WSL以降の幅広い潜在的なアプリケーションに関するリソースをコミュニティに提供します。 モデルトレーニングや分析、スパーシフィケーションといった応用において、失われた景観のフェーズが重要な役割を果たしている、という証拠がある。 転送学習やモデルウェイト平均化といった下流手法の探索的研究でこれを実証する。

関連論文リスト

• A Model Zoo of Vision Transformers [6.926413609535758]
  視覚変換器の最初のモデル動物園(ViT)を紹介する。 近年のトレーニング手法をより良く表現するために,事前学習と微調整の両方を包含するモデル動物園生成のための新しい青写真を開発する。 それらは大量の生成因子で慎重に生成され、その多様性は重量空間と行動メトリクスの完全な選択によって検証される。
  論文  参考訳（メタデータ） (2025-04-14T13:52:26Z)
• The Impact of Model Zoo Size and Composition on Weight Space Learning [8.11780615053558]
  トレーニングされたニューラルネットワークモデルを再利用することは、トレーニングコストを削減し、知識を伝達する一般的な戦略である。 重量宇宙学習は、将来のタスクのために事前訓練されたモデルの集団を再利用するための、有望な新しい分野である。 そこで本研究では,異種集団の訓練に適応する共通重み空間学習法を提案する。
  論文  参考訳（メタデータ） (2025-04-14T11:54:06Z)
• Multi-Scale and Multimodal Species Distribution Modeling [4.022195138381868]
  種分布モデル (SDM) は, 発生データと環境変数の分布を予測することを目的としている。 SDMへのディープラーニングの最近の応用は、特に空間データを含む新しい道を可能にしている。 我々はSDMのモジュール構造を開発し、シングルスケールとマルチスケールの両方でスケールの効果をテストする。 GeoLifeCLEF 2023ベンチマークの結果は、マルチモーダルデータとマルチスケール表現の学習を考えると、より正確なモデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-11-06T15:57:20Z)
• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 既存のスケーリングテクニック,特に選択的マージ,および混合の変種をベンチマークする。 次に、異種モデル動物園の選択と集約のための最適な戦略を定式化する。 我々の手法は、マージ可能なモデルのクラスタリング、最適なマージ戦略選択、クラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model Zoos: A Dataset of Diverse Populations of Neural Network Models [2.7167743929103363]
  ニューラルネットワークモデルの体系的生成と多様な集団を含むモデル動物園の新しいデータセットを公表する。 データセットはwww.modelzoos.ccにある。
  論文  参考訳（メタデータ） (2022-09-29T13:20:42Z)
• The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
  自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。 本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
  論文  参考訳（メタデータ） (2022-09-18T18:15:38Z)
• Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
  アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。 潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
  論文  参考訳（メタデータ） (2022-02-27T19:07:12Z)
• Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
  被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。 グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。 まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
  論文  参考訳（メタデータ） (2020-06-11T17:29:53Z)
• Deformation-aware Unpaired Image Translation for Pose Estimation on Laboratory Animals [56.65062746564091]
  我々は,神経回路が行動をどのようにオーケストレーションするかを研究するために,手動による監督を使わずに,神経科学モデル生物のポーズを捉えることを目的としている。 我々の重要な貢献は、未完成の画像翻訳フレームワークにおける外観、形状、ポーズの明示的で独立したモデリングである。 ショウジョウバエ(ハエ)、線虫(線虫)、ダニオ・レリオ(ゼブラフィッシュ)のポーズ推定精度の向上を実証した。
  論文  参考訳（メタデータ） (2020-01-23T15:34:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。