論文の概要: ScAn-Bench: Evaluating Scaling Analysis Methodology

• arxiv url: http://arxiv.org/abs/2609.35707v1
• Date: Mon, 28 Sep 2026 17:44:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 19:31:40.000244
• Title: ScAn-Bench: Evaluating Scaling Analysis Methodology
• Title（参考訳）: ScAn-Bench: スケーリング分析方法論の評価
• Abstract要約: 言語および視覚言語モデルパイプラインの4524と8024のチェックポイントに基づくベンチマークScAn-Bench-LLMとScAn-Bench-VLMを紹介する。 本ベンチマークでは,データ取得手法と外挿手法を併用して,異なるデータモダリティにまたがる解析を行う。
• 参考スコア（独自算出の注目度）: 6.242394053158113
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in machine learning is driven by large-scale foundation models, where scaling laws and finding optimal scaling prescriptions for architecture, data, and hyperparameters are key in advancing the state-of-the-art. Therefore, it is surprising that no systematic study evaluates the methodology to obtain scaling laws and prescriptions across different model types. To shed light on this crucial blind spot and facilitate future research, we introduce the surrogate benchmarks ScAn-Bench-LLM and ScAn-Bench-VLM based on 4524 and 8024 checkpoints of language and vision-language model pipelines. On our benchmarks, we perform the first systematic evaluation of both data acquisition and extrapolation methodology for scaling analysis across different data modalities.
• Abstract（参考訳）: 大規模基盤モデルでは、アーキテクチャ、データ、ハイパーパラメータのスケーリング法則の最適化が最先端の進展の鍵となる。 したがって、異なるモデルタイプにまたがるスケーリング法則と処方薬の方法論を体系的に評価する研究は存在しないことは驚くべきことである。 この重要な盲点に光を当て、将来の研究を促進するために、4524および8024の言語およびビジョン言語モデルパイプラインのチェックポイントに基づいて、ScAn-Bench-LLMとScAn-Bench-VLMのサロゲートベンチマークを導入する。 本ベンチマークでは,データ取得手法と外挿手法を併用して,異なるデータモダリティにまたがる解析を行う。

関連論文リスト

• Exploring Scaling Laws for EHR Foundation Models [17.84205864956449]
  EHR基礎モデルのスケーリング法則に関する最初の実証的研究について述べる。 パラボリックなIsoFLOP曲線や計算,モデルパラメータ,データサイズ,臨床ユーティリティ間の電力-法則関係など,一貫したスケーリングパターンを同定する。
  論文  参考訳（メタデータ） (2025-05-29T01:05:11Z)
• Comprehensive Benchmarking of Machine Learning Methods for Risk Prediction Modelling from Large-Scale Survival Data: A UK Biobank Study [0.0]
  大規模コホート研究と機械学習(ML)アルゴリズムの多種多様なツールキットにより、このような生存課題の取り組みが促進されている。 我々は,線形学習モデルからディープラーニング(DL)モデルまで,8つのサバイバルタスク実装のベンチマークを試みた。 n = 5,000からn = 250,000のサンプルサイズで、異なるアーキテクチャがいかにうまくスケールするかを評価した。
  論文  参考訳（メタデータ） (2025-03-11T20:27:20Z)
• A Survey of Model Architectures in Information Retrieval [59.61734783818073]
  2019年から現在までの期間は、情報検索(IR)と自然言語処理(NLP)における最大のパラダイムシフトの1つとなっている。 従来の用語ベースの手法から現代のニューラルアプローチまで,特にトランスフォーマーベースのモデルとそれに続く大規模言語モデル(LLM)の影響が注目されている。 今後の課題と今後の方向性について、先見的な議論で締めくくります。
  論文  参考訳（メタデータ） (2025-02-20T18:42:58Z)
• Optimizing Sequential Recommendation Models with Scaling Laws and Approximate Entropy [104.48511402784763]
  SRモデルの性能法則は,モデルの性能とデータ品質の関係を理論的に調査し,モデル化することを目的としている。 データ品質を評価するために、従来のデータ量メトリクスと比較して、より曖昧なアプローチを示すために、近似エントロピー(ApEn)を提案する。
  論文  参考訳（メタデータ） (2024-11-30T10:56:30Z)
• EXACT: Towards a platform for empirically benchmarking Machine Learning model explanation methods [1.6383837447674294]
  本稿では、初期ベンチマークプラットフォームにおいて、様々なベンチマークデータセットと新しいパフォーマンス指標をまとめる。 我々のデータセットには、クラス条件の特徴に対する真実の説明が組み込まれています。 このプラットフォームは、それらが生成する説明の品質において、ポストホックなXAIメソッドのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2024-05-20T14:16:06Z)
• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Revisiting Neural Scaling Laws in Language and Vision [43.57394336742374]
  我々は、最適なパラメータを報告するのではなく、外挿損失に基づくより厳密な方法論を論じる。 本稿では,学習曲線から法則パラメータのスケーリングを確実に推定する手法を提案する。 複数のドメインにまたがる幅広いアーキテクチャファミリにおいて,従来手法よりも高精度に外挿できることを実証した。
  論文  参考訳（メタデータ） (2022-09-13T09:41:51Z)
• An Extensible Benchmark Suite for Learning to Simulate Physical Systems [60.249111272844374]
  我々は、統一されたベンチマークと評価プロトコルへの一歩を踏み出すために、一連のベンチマーク問題を導入する。 本稿では,4つの物理系と,広く使用されている古典的時間ベースおよび代表的なデータ駆動手法のコレクションを提案する。
  論文  参考訳（メタデータ） (2021-08-09T17:39:09Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。