論文の概要: Efficient Lifelong Model Evaluation in an Era of Rapid Progress

• arxiv url: http://arxiv.org/abs/2402.19472v2
• Date: Sat, 23 Nov 2024 22:30:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:35.096199
• Title: Efficient Lifelong Model Evaluation in an Era of Rapid Progress
• Title（参考訳）: 急速な進展期における効率的な生涯モデル評価
• Authors: Ameya Prabhu, Vishaal Udandarao, Philip Torr, Matthias Bethge, Adel Bibi, Samuel Albanie,
• Abstract要約: S&S(Sort & Search, S&S)は, 動的プログラミングアルゴリズムを利用して, テストサンプルのランク付けとサブセレクションを行う。 S&Sは高い効率の近似精度測定を実現し、計算コストを1つのA100 GPU上で180GPU日から5GPU時間に削減し、近似誤差が低く、メモリコストは100MBである。 我々の研究は、現在の精度予測指標の問題を強調し、サンプルレベルの評価指標に移行する必要性を示唆している。
• 参考スコア（独自算出の注目度）: 40.57576540258748
• License:
• Abstract: Standardized benchmarks drive progress in machine learning. However, with repeated testing, the risk of overfitting grows as algorithms over-exploit benchmark idiosyncrasies. In our work, we seek to mitigate this challenge by compiling ever-expanding large-scale benchmarks called Lifelong Benchmarks. These benchmarks introduce a major challenge: the high cost of evaluating a growing number of models across very large sample sets. To address this challenge, we introduce an efficient framework for model evaluation, Sort & Search (S&S)}, which reuses previously evaluated models by leveraging dynamic programming algorithms to selectively rank and sub-select test samples. To test our approach at scale, we create Lifelong-CIFAR10 and Lifelong-ImageNet, containing 1.69M and 1.98M test samples for classification. Extensive empirical evaluations across over 31,000 models demonstrate that S&S achieves highly-efficient approximate accuracy measurement, reducing compute cost from 180 GPU days to 5 GPU hours (about 1000x reduction) on a single A100 GPU, with low approximation error and memory cost of <100MB. Our work also highlights issues with current accuracy prediction metrics, suggesting a need to move towards sample-level evaluation metrics. We hope to guide future research by showing our method's bottleneck lies primarily in generalizing Sort beyond a single rank order and not in improving Search.
• Abstract（参考訳）: 標準化されたベンチマークは、機械学習の進歩を促進する。 しかし、繰り返しテストを行うことで、アルゴリズムが過剰に露出するベンチマークの慣用性によって過度に適合するリスクが増大する。 私たちの研究では、Lifelong Benchmarksと呼ばれる大規模ベンチマークを継続的に展開することで、この課題を緩和しようとしています。 これらのベンチマークには大きな課題が伴う。非常に大きなサンプルセットにまたがるモデルの増大を評価するのに高いコストがかかる。 この課題に対処するために、動的プログラミングアルゴリズムを活用して、モデル評価のための効率的なフレームワークSort & Search(S&S)を導入する。 我々のアプローチを大規模にテストするために、分類のための 1.69M と 1.98M のテストサンプルを含む Lifelong-CIFAR10 と Lifelong-ImageNet を作成しました。 31,000以上のモデルにわたる大規模な実験的な評価により、S&Sは高い効率の近似精度測定を実現し、計算コストを1つのA100 GPU上で180GPU日から5GPU時間(約1000倍の削減)に削減し、近似誤差とメモリコストが100MB未満であることが示された。 私たちの研究は、現在の精度予測指標の問題も強調し、サンプルレベルの評価指標に移行する必要性を示唆しています。 提案手法のボトルネックは,サーチの改良ではなく,ソートを1位以上の順序で一般化することにある。

関連論文リスト

• Bag of Tricks for Inference-time Computation of LLM Reasoning [10.366475014241407]
  複雑度の異なる推論タスクに対して,様々な推論時間計算戦略を検証・ベンチマークする。 我々のアブレーション研究は、これまで見過ごされていた戦略が性能を大幅に向上させることができることを示している。 我々は,8つの推論タスクにまたがる6つの代表的手法を体系的に評価することにより,推論時間計算の標準ベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-02-11T02:31:11Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• It's all about PR -- Smart Benchmarking AI Accelerators using Performance Representatives [40.197673152937256]
  統計性能モデルのトレーニングは、しばしば大量のデータを必要とするため、かなりの時間的投資となり、ハードウェアの可用性が制限された場合に困難になる。 本稿では,精度を保ちながらトレーニングサンプル数を著しく削減する性能モデリング手法を提案する。 その結果,単層推定では0.02%,トレーニングサンプル10000点未満では0.68%という平均絶対誤差(MAPE)が得られた。
  論文  参考訳（メタデータ） (2024-06-12T15:34:28Z)
• Efficient Benchmarking of Language Models [22.696230279151166]
  本稿では、信頼性を損なうことなく、LM評価のコストをインテリジェントに削減する、効率的なベンチマーク問題を提案する。 HELMベンチマークをテストケースとして、異なるベンチマーク設計選択が計算-信頼性トレードオフにどのように影響するかを検討する。 本稿では,HELMベンチマークに適用した場合,ベンチマーク信頼性の低下を最小限に抑えながら,大幅なコスト削減を実現する評価アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-22T17:59:30Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• How not to Lie with a Benchmark: Rearranging NLP Leaderboards [0.0]
  一般的なNLPベンチマークの総合評価手法について検討し、幾何平均と調和平均でモデルを並べ替える。 我々は、GLUE、SuperGLUE、XGLUE、XTREMEなどの人気のあるベンチマークを分析した。
  論文  参考訳（メタデータ） (2021-12-02T15:40:52Z)
• Continuous Optimization Benchmarks by Simulation [0.0]
  最適化アルゴリズムのテスト、比較、チューニング、理解にはベンチマーク実験が必要である。 以前の評価から得られたデータは、ベンチマークに使用される代理モデルのトレーニングに使用することができる。 本研究では,スペクトルシミュレーションにより連続最適化問題のシミュレーションが可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-14T08:50:57Z)
• The Devil is in Classification: A Simple Framework for Long-tail Object Detection and Instance Segmentation [93.17367076148348]
  本稿では,最新のロングテールLVISデータセットを用いて,最先端の2段階のインスタンスセグメンテーションモデルMask R-CNNの性能低下について検討する。 主な原因は、オブジェクト提案の不正確な分類である。 そこで本研究では,2段階のクラスバランスサンプリング手法により,分類ヘッドバイアスをより効果的に緩和する,簡単な校正フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T12:49:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。