論文の概要: ModelLakeFishing: Efficient Retrieval over Million-Scale Model Lakes
- arxiv url: http://arxiv.org/abs/2610.04904v1
- Date: Sun, 04 Oct 2026 03:32:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 08:07:18.906472
- Title: ModelLakeFishing: Efficient Retrieval over Million-Scale Model Lakes
- Title（参考訳）: ModelLakeFishing: 百万規模のモデルレイク上での効率的な検索
- Abstract要約: ModelLakeFishingは、ターゲットデータセット、予測タスク、評価メトリックを指定するクエリのためのモデル検索フレームワークである。
メタデータと過去の評価をモデル-データセット-タスクエビデンスグラフに統合する。
モデルとクエリの埋め込みを関係対応グラフエンコーダで学習し、階層的ナビゲート可能な小型世界探索を用いてモデル埋め込みをインデックス化する。
- 参考スコア（独自算出の注目度）: 7.602293567387452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open model lakes may contain millions of reusable models, making it costly to identify suitable models for a new dataset. We present ModelLakeFishing, a model-retrieval framework for queries specifying a target dataset, prediction task, and evaluation metric. It consolidates metadata and historical evaluations into a model-dataset-task evidence graph, learns model and query embeddings with a relation-aware graph encoder, and indexes model embeddings using Hierarchical Navigable Small World (HNSW) search. At query time, HNSW retrieves 1,000 candidates without scoring every model, after which a training-side task prior reranks candidates for the requested metric and returns the top 10. We evaluate on a lake of 3,016,439 models and 247,803 observed model-dataset performance pairs using three root-aware splits that hold test performance edges out of representation learning and retrieval. ModelLakeFishing achieves a mean eligible-query gold@10 of 0.2968, recovering the observed-best model in the top 10 for 29.68% of eligible queries and retaining 93.47% of the gold@10 of an exhaustive baseline using the same scoring and reranking procedure. Given precomputed query embeddings, retrieval and reranking take 0.747 ms median and 1.102 ms at the 95th percentile. These results demonstrate efficient retrieval over million-model lakes from sparse relational evidence.
- Abstract（参考訳）: オープンモデルレイクには数百万の再利用可能なモデルが含まれており、新しいデータセットに適したモデルを特定するのにコストがかかる。
提案するModelLakeFishingは,ターゲットデータセット,予測タスク,評価指標を指定するクエリのためのモデル検索フレームワークである。
メタデータと過去の評価をモデル-データセット-タスクエビデンスグラフに集約し、関係対応グラフエンコーダでモデルとクエリの埋め込みを学習し、階層的ナビゲート可能な小型世界(HNSW)探索を用いてモデル埋め込みをインデックス化する。
クエリ時に、HNSWはすべてのモデルをスコア付けせずに1,000の候補を検索し、その後、トレーニングサイドタスクが要求されたメトリックの候補をリランクし、トップ10を返す。
我々は3,016,439のモデルと247,803の観測されたモデルデータセットのパフォーマンス対を3つのルート認識分割を用いて評価した。
ModelLakeFishingは0.2968の平均値のゴールド@10を達成し、対象クエリの29.68%でトップ10で観測されたベストモデルを回復し、同じスコアとリグレード手順を使用して排気ベースラインのゴールド@10の93.47%を維持している。
事前計算されたクエリの埋め込みにより、検索と再ランクは、95%で0.747ms、および1.102msである。
これらの結果は, 疎水性証拠から100万モデル湖を効率よく探査できることを示す。
関連論文リスト
- ModelLens: Finding the Best for Your Task from Myriads of Models [25.958674884209557]
モデルレコメンデーションのための統一フレームワークであるModelLensを紹介します。
パブリックなリーダーボードのインタラクションは散らばっていてうるさいが、集合的にモデル能力の暗黙のアトラスを追求している。
ModelLensは、ターゲットデータセットの候補を実行せずに、目に見えないデータセットに未確認のモデルをランク付けする。
論文 参考訳（メタデータ） (2026-05-08T00:49:05Z) - LOCUS: Low-Dimensional Model Embeddings for Efficient Model Exploration, Comparison, and Selection [15.182368486530128]
LOCUSは,クエリ間の言語モデルの性能をコンパクトに表現する低次元ベクトル埋め込みを生成する手法である。
LOCUSは、クエリエンコーディングと評価スコアをエンコーダモデルを介して決定論的フォワードパスによって埋め込みを生成するアテンションベースのアプローチである。
我々は、モデル埋め込みとクエリエンコーディングを使用して、未知のクエリに対して最先端のルーティング精度を実現する正当性予測器を訓練する。
論文 参考訳（メタデータ） (2026-01-28T22:09:42Z) - zELO: ELO-inspired Training Method for Rerankers and Embedding Models [0.02330164376631037]
教師なしデータを用いて、最先端のオープンウェイトリランカモデルであるzerank-1とzerank-1-smallをトレーニングする。
これらのモデルは、金融、法務、コード、STEMを含む複数の領域で最高の検索スコアを得る。
トレーニングデータには、クエリ毎に112,000のクエリと100のドキュメントが含まれており、注釈のないクエリとドキュメントから1万時間未満でエンドツーエンドにトレーニングされた。
論文 参考訳（メタデータ） (2025-09-16T00:44:08Z) - LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。
サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
論文 参考訳（メタデータ） (2025-09-03T17:39:08Z) - Beyond Model Base Selection: Weaving Knowledge to Master Fine-grained Neural Network Design [20.31388126105889]
M-DESIGN(M-DESIGN)は、ニューラルネットワークの洗練を習得するためのモデル知識ベース(MKB)パイプラインである。
まず,タスクメタデータに対する適応的なクエリ問題としてモデル修正を再構成する知識織りエンジンを提案する。
ユーザのタスククエリが与えられた場合、M-DESIGNは、グラフ関係の知識スキーマを利用して、候補モデルをすばやくマッチングし、反復的に洗練する。
論文 参考訳（メタデータ） (2025-07-21T07:49:19Z) - Rank1: Test-Time Compute for Reranking in Information Retrieval [45.356614696154075]
Rank1はテスト時間計算を活用するためにトレーニングされた最初のリグレードモデルである。
我々は、MS MARCOのクエリやパスからのR1推論トレースの600,000以上のサンプルのデータセットを収集し、オープンソース化する。
論文 参考訳（メタデータ） (2025-02-25T18:14:06Z) - GIFT-Eval: A Benchmark For General Time Series Forecasting Model Evaluation [90.53485251837235]
時系列基礎モデルはゼロショット予測に優れ、明示的なトレーニングなしで多様なタスクを処理する。
GIFT-Evalは、多様なデータセットに対する評価を促進するための先駆的なベンチマークである。
GIFT-Evalには、144,000の時系列と17700万のデータポイントの23のデータセットが含まれている。
論文 参考訳（メタデータ） (2024-10-14T11:29:38Z) - Anchor Points: Benchmarking Models with Much Fewer Examples [88.02417913161356]
6つの人気のある言語分類ベンチマークでは、多数の点の正しいクラスに対するモデル信頼度はモデル間で強く相関している。
Anchor Point Selectionは,データセット全体にわたるモデル動作をキャプチャする,データセットの小さなサブセットを選択する手法である。
平均絶対誤差が低いデータセットの他のすべての点について、クラスごとの予測モデルを推定するために、いくつかのアンカーポイントを使用することができる。
論文 参考訳（メタデータ） (2023-09-14T17:45:51Z) - When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文 参考訳（メタデータ） (2021-02-03T18:57:08Z) - Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。
アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。
デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
論文 参考訳（メタデータ） (2020-01-20T15:15:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。