論文の概要: Cost-Effective Model Evaluation with Meta-Learning

• arxiv url: http://arxiv.org/abs/2605.23595v1
• Date: Fri, 22 May 2026 13:05:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.357046
• Title: Cost-Effective Model Evaluation with Meta-Learning
• Title（参考訳）: メタラーニングによる費用効果モデル評価
• Authors: Trinh Pham, Viet Huynh, Hongzhi Yin, Quoc Viet Hung Nguyen, Thanh Tam Nguyen,
• Abstract要約: 未確認モデルの高速かつラベルなし評価のためのモデルに依存しないMetaEvaluatorを提案する。 私たちの知る限りでは、完全にラベル付けされていないデータセットで新しいモデルを評価することができる最初のモデルに依存しないフレームワークです。
• 参考スコア（独自算出の注目度）: 41.19591117163946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of machine learning has produced an ever-expanding ecosystem of models, making it increasingly challenging to verify the reliability of newly released models on unseen, unlabeled data. Conventional evaluation pipelines depend on expensive annotation, repeated fine-tuning, or narrow assumptions that fail to transfer across model families. We present MetaEvaluator, a cost-effective, model-agnostic framework for rapid, label-free assessment of unseen models spanning diverse architectures and modalities. MetaEvaluator leverages meta-learning over a pool of reference models to obtain a transferable initialization, enabling accurate evaluation of new models while amortizing cost across the pool and removing the need for per-model retraining. To the best of our knowledge, this is the first model-agnostic framework capable of evaluating new models on entirely unlabeled datasets. Extensive experiments show that MetaEvaluator produces stable and accurate performance estimates at substantially reduced cost compared to conventional approaches, making scalable benchmarking of emerging models on unlabeled data practical.
• Abstract（参考訳）: 機械学習の急速な成長は、継続するモデルのエコシステムを生み出したため、新しくリリースされたモデルの信頼性を、目に見えない、ラベルのないデータで検証することはますます困難になっている。 従来の評価パイプラインは、高価なアノテーション、繰り返し微調整、あるいはモデルファミリ間の転送に失敗する狭い仮定に依存する。 多様なアーキテクチャとモダリティにまたがる未確認モデルの迅速かつラベルなし評価のための,費用効率のよいモデル非依存フレームワークであるMetaEvaluatorを提案する。 MetaEvaluatorは、参照モデルのプール上のメタラーニングを活用して、転送可能な初期化を取得し、プール全体のコストを償却しつつ、モデルごとの再トレーニングの必要性を排除しながら、新しいモデルの正確な評価を可能にする。 私たちの知る限りでは、完全にラベル付けされていないデータセットで新しいモデルを評価することができる最初のモデルに依存しないフレームワークです。 大規模な実験により,MetaEvaluatorは従来の手法に比べて大幅にコストを削減して,安定かつ正確な性能評価を行うことができた。

関連論文リスト

• PerturBench: Benchmarking Machine Learning Models for Cellular Perturbation Analysis [8.785345412061792]
  摂動に対する単一細胞転写応答をモデル化するための包括的枠組みを提案する。 私たちのアプローチには、モジュラーでユーザフレンドリなモデル開発と評価プラットフォームが含まれています。 モード崩壊など、広く使われているモデルの限界を強調します。
  論文  参考訳（メタデータ） (2024-08-20T07:40:20Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。