論文の概要: We Should Chart an Atlas of All the World's Models
- arxiv url: http://arxiv.org/abs/2503.10633v2
- Date: Tue, 03 Jun 2025 16:28:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:09.04562
- Title: We Should Chart an Atlas of All the World's Models
- Title(参考訳): 世界中のモデルのアトラスをグラフ化すべき
- Authors: Eliahu Horwitz, Nitzan Kurer, Jonathan Kahana, Liel Amar, Yedid Hoshen,
- Abstract要約: 我々は、モデルアトラスと呼ばれる統一された構造で世界のモデル人口をチャート化することを提唱する。
Model Atlasは、モデル法医学、メタML研究、モデル発見の応用を可能にする。
- 参考スコア(独自算出の注目度): 37.19719066562013
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Public model repositories now contain millions of models, yet most models remain undocumented and effectively lost. In this position paper, we advocate for charting the world's model population in a unified structure we call the Model Atlas: a graph that captures models, their attributes, and the weight transformations that connect them. The Model Atlas enables applications in model forensics, meta-ML research, and model discovery, challenging tasks given today's unstructured model repositories. However, because most models lack documentation, large atlas regions remain uncharted. Addressing this gap motivates new machine learning methods that treat models themselves as data, inferring properties such as functionality, performance, and lineage directly from their weights. We argue that a scalable path forward is to bypass the unique parameter symmetries that plague model weights. Charting all the world's models will require a community effort, and we hope its broad utility will rally researchers toward this goal.
- Abstract(参考訳): 現在、パブリックモデルリポジトリには数百万のモデルが含まれているが、ほとんどのモデルは文書化されておらず、事実上失われたままである。
このポジションペーパーでは、モデル、それらの属性、およびそれらを接続する重み変換をキャプチャするグラフであるモデルアトラス(Model Atlas)と呼ばれる統一構造で、世界のモデル人口をチャート化することを提唱する。
Model Atlasは、モデル法医学、メタML研究、モデル発見におけるアプリケーションを可能にし、今日の非構造化モデルリポジトリに与えられた課題に挑戦する。
しかし、ほとんどのモデルにはドキュメンテーションがないため、大きなアトラス領域は未チャージのままである。
このギャップに対処するため、モデル自体をデータとして扱い、機能やパフォーマンス、系統といった特性を直接その重みから推論する、新たな機械学習手法を動機付けている。
拡張性のあるパスは、モデルの重みを悩ませるユニークなパラメータ対称性をバイパスすることである、と我々は主張する。
世界のすべてのモデルをチャート化するにはコミュニティの努力が必要であり、その幅広いユーティリティがこの目標に向かって研究者を集結させることを願っています。
関連論文リスト
- GRAM: A Generative Foundation Reward Model for Reward Generalization [48.63394690265176]
まず,大規模教師なし学習を用いて学習し,教師付き学習により微調整を行う生成報酬モデルを開発した。
このモデルは、応答ランキング、人間のフィードバックからの強化学習、微調整によるタスク適応など、様々なタスクをうまく一般化する。
論文 参考訳(メタデータ) (2025-06-17T04:34:27Z) - Learning on Model Weights using Tree Experts [39.90685550999956]
モデルの重みから直接、欠落したドキュメントを推測するために機械学習モデルを訓練することは難しい。
ほとんどの公開モデルは、モデルツリーの小さなセットに属します。
Probing Experts (ProbeX) は理論的に動機づけられた軽量な手法で、単一のモデル層の重みから学習する。
論文 参考訳(メタデータ) (2024-10-17T17:17:09Z) - Exploring Model Kinship for Merging Large Language Models [52.01652098827454]
本稿では,大規模言語モデル間の類似性や関連性の程度であるモデル親和性を紹介する。
モデル統合後の性能向上とモデル親和性の間には,一定の関係があることが判明した。
我々は新しいモデルマージ戦略を提案する。Top-k Greedy Merging with Model Kinship。
論文 参考訳(メタデータ) (2024-10-16T14:29:29Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳(メタデータ) (2024-02-07T13:41:53Z) - Efficiently Robustify Pre-trained Models [18.392732966487582]
大規模モデルの現実的な設定に対する堅牢性は、いまだ探索されていないトピックである。
まず、異なる摂動とデータセットの下でこれらのモデルのパフォーマンスをベンチマークします。
続いて、大規模ネットワークにおいて、モデルファインチューニングに基づく既存のロバスト化スキームが拡張性に欠ける可能性について論じる。
論文 参考訳(メタデータ) (2023-09-14T08:07:49Z) - OpenGDA: Graph Domain Adaptation Benchmark for Cross-network Learning [42.48479966907126]
OpenGDAはグラフ領域適応モデルを評価するためのベンチマークである。
さまざまなタスクに対して、豊富な事前処理と統合されたデータセットを提供する。
最先端のモデルと標準化されたパイプラインとエンドツーエンドのパイプラインを統合する。
論文 参考訳(メタデータ) (2023-07-21T04:11:43Z) - MGit: A Model Versioning and Management System [7.2678752235785735]
MGitはモデルバージョニングと管理システムであり、モデルデリバティブの保存、テスト、更新、コラボレーションを容易にする。
MGitは、ライングラフのストレージフットプリントを最大7倍に削減し、アップストリームモデルの更新に応じて、ダウンストリームモデルを自動的に更新する。
論文 参考訳(メタデータ) (2023-07-14T17:56:48Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - Graph Few-shot Class-incremental Learning [25.94168397283495]
新しいクラスを段階的に学習する能力は、すべての現実世界の人工知能システムにとって不可欠である。
本稿では,グラフFCL(Graph Few-shot Class-incremental)問題について検討する。
基本クラスから繰り返しタスクをサンプリングすることでグラフ擬似インクリメンタルラーニングパラダイムを提案する。
本稿では,タスクレベルの注意とノードクラスのプロトタイプから計算したタスク依存型正規化器について述べる。
論文 参考訳(メタデータ) (2021-12-23T19:46:07Z) - Scalable Scene Flow from Point Clouds in the Real World [30.437100097997245]
オープンデータセットに基づくシーンフローの大規模ベンチマークを新たに導入します。
実際のLiDARデータの量に基づいて、これまでの作業がバウンドされているかを示す。
フルポイントクラウド上でリアルタイム推論を提供するモデルアーキテクチャFastFlow3Dを紹介します。
論文 参考訳(メタデータ) (2021-03-01T20:56:05Z) - Dataset Cartography: Mapping and Diagnosing Datasets with Training
Dynamics [118.75207687144817]
我々はデータセットを特徴付け、診断するモデルベースのツールであるData Mapsを紹介した。
私たちは、トレーニング中の個々のインスタンス上でのモデルの振る舞いという、ほとんど無視された情報のソースを活用しています。
以上の結果から,データ量から品質へのフォーカスの変化は,ロバストなモデルとアウト・オブ・ディストリビューションの一般化に繋がる可能性が示唆された。
論文 参考訳(メタデータ) (2020-09-22T20:19:41Z) - Hidden Footprints: Learning Contextual Walkability from 3D Human Trails [70.01257397390361]
現在のデータセットは、人々がどこにいるか、どこにいるかを教えてくれません。
まず、画像間で人の観察を伝播させ、3D情報を利用して、私たちが「隠れ足跡」と呼ぶものを作成することで、有効なラベル付き歩行可能領域の集合を拡大する。
このようなスパースラベルのために設計されたトレーニング戦略を考案し、クラスバランスの分類損失と文脈逆転損失を組み合わせた。
論文 参考訳(メタデータ) (2020-08-19T23:19:08Z) - Model Generalization in Deep Learning Applications for Land Cover
Mapping [19.570391828806567]
深層学習モデルが特定の大陸/シリーズのデータに基づいて訓練される場合,サンプル外大陸/シリーズのモデル性能に高いばらつきがあることが示される。
これは、モデルがひとつの大陸や季節における土地利用クラスを正確に予測するからといって、異なる大陸や季節における土地利用クラスを正確に予測するという意味ではないことを示唆している。
論文 参考訳(メタデータ) (2020-08-09T01:50:52Z) - Explanation-Guided Training for Cross-Domain Few-Shot Classification [96.12873073444091]
クロスドメイン・ショット分類タスク(CD-FSC)は、データセットで表されるドメインをまたいで一般化する要件と、少数ショット分類を組み合わせたものである。
既存のFSCモデルに対する新しいトレーニング手法を提案する。
説明誘導学習はモデル一般化を効果的に改善することを示す。
論文 参考訳(メタデータ) (2020-07-17T07:28:08Z) - $n$-Reference Transfer Learning for Saliency Prediction [73.17061116358036]
本稿では,サリエンシ予測のための数発のトランスファー学習パラダイムを提案する。
提案するフレームワークは勾配ベースでモデルに依存しない。
その結果,提案フレームワークは大幅な性能向上を実現していることがわかった。
論文 参考訳(メタデータ) (2020-07-09T23:20:44Z) - MapLUR: Exploring a new Paradigm for Estimating Air Pollution using Deep
Learning on Map Images [4.7791671364702575]
土地利用回帰モデルは, 計測ステーションのない地域での大気汚染濃度を評価する上で重要である。
我々は,オープンかつグローバルなデータのみを用いて,純粋にデータ駆動型アプローチに基づくモデルを実現する,データ駆動型オープングローバル(DOG)パラダイムを提案する。
論文 参考訳(メタデータ) (2020-02-18T11:21:55Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳(メタデータ) (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。