論文の概要: SuperValid: Capability-Aligned OOD Validation for Generalizable Downstream Scaling

• arxiv url: http://arxiv.org/abs/2605.28179v1
• Date: Wed, 27 May 2026 09:01:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.915901
• Title: SuperValid: Capability-Aligned OOD Validation for Generalizable Downstream Scaling
• Title（参考訳）: SuperValid: 一般化可能なダウンストリームスケーリングのための能力適応型OODバリデーション
• Authors: Quanen Sun, Changxin Tian, Ke Shi, Cai Chen, Cunyin Peng, Jia Liu, Kunlong Chen, Zhiqiang Zhang,
• Abstract要約: 下流のスケーリングは能力レベルで研究されるべきである、と我々は主張する。 我々は,OOD(out-of-distribution),能力整合性検証データを合成するフレームワークであるSuperValidを提案する。
• 参考スコア（独自算出の注目度）: 9.40050823319082
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling laws guide large language model training by relating compute to cross-entropy loss, and recent work further extends them to predict downstream benchmark performance. However, prior approaches face generalization limitations from two aspects: focusing on benchmark-level performance introduces scenario-specific artifacts, while relying on IID validation loss fails to track capability improvements when training distributions vary. In this work, we argue that downstream scaling should be studied at the capability level, which captures shared skill factors across related tasks while abstracting away benchmark-specific noise. We propose SuperValid, a framework that synthesizes OOD (out-of-distribution), capability-aligned validation data by distilling core concepts from benchmarks within a capability domain and expanding them into diverse, knowledge-rich texts. Extensive experiments spanning 17 benchmarks grouped into 6 capability domains show that SuperValid loss exhibits strong and stable correlation with downstream performance across models of different architectures, scales, and training data distributions. As a training-free metric computable during training without benchmark evaluation, SuperValid enables effective model selection, early stopping, and scaling decisions.
• Abstract（参考訳）: スケーリング法則は、計算とクロスエントロピー損失を関連付けて、大規模な言語モデルのトレーニングをガイドする。 しかし、以前のアプローチでは、ベンチマークレベルのパフォーマンスに注目するとシナリオ固有のアーティファクトが導入され、IIDバリデーションの損失に依存すると、トレーニングディストリビューションの違いによるパフォーマンス改善が追跡できない、という2つの側面から、一般化の制限に直面していた。 この研究では、ダウンストリームスケーリングは能力レベルで研究されるべきであり、これは、ベンチマーク固有のノイズを抽象化しながら、関連するタスク間の共有スキルファクターをキャプチャする。 本稿では,OOD(out-of-distriion)を合成するフレームワークであるSuperValidを提案する。 6つの機能ドメインにグループ化された17のベンチマークにまたがる大規模な実験により、SuperValidの損失は、異なるアーキテクチャ、スケール、トレーニングデータ分散のモデル間で、ダウンストリームのパフォーマンスと強く安定した相関を示します。 ベンチマーク評価なしでトレーニング中に計算可能なトレーニングフリーメトリックとして、SuperValidは効果的なモデル選択、早期停止、スケーリング決定を可能にする。

関連論文リスト

• On Predicting the Post-training Potential of Pre-trained LLMs [60.07459271263409]
  本稿では,ポストトレーニング前のベースモデルの性能予測という,ポストトレーニング後の潜在能力を予測するための新しいタスクを紹介する。 本稿では,応答判別を活用することで,ベースモデルの生成ギャップを回避できる統一フレームワークであるRuDEを提案する。 実験では、トレーニング後のパフォーマンスと90%以上の相関を示す。
  論文  参考訳（メタデータ） (2026-05-12T11:33:49Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks [0.7106986689736825]
  本報告では、クラス優先の仮定から確率比の推定を分離する原則的フレームワークであるOBIL(TextitOnline Bayesian Im Balanced Learning)を提案する。 我々のアプローチは、ブレグマンの発散と適切なスコアリングルールとの確立された接続に基づいて、そのような損失で訓練されたディープネットワークが後続確率推定を生成することを示す。 これらの確率比の推定は、クラス事前およびコスト構造における任意の変化の下でも有効であり、最適なベイズ決定のためのしきい値調整のみを必要とすることを証明している。
  論文  参考訳（メタデータ） (2026-02-08T21:23:00Z)
• Continual Action Quality Assessment via Adaptive Manifold-Aligned Graph Regularization [53.82400605816587]
  アクション品質アセスメント(AQA)は、ビデオにおける人間の行動を定量化し、スポーツスコアリング、リハビリテーション、スキル評価の応用を支援する。 大きな課題は、現実世界のシナリオにおける品質分布の非定常的な性質にある。 本稿では,進化する分布を扱うための連続学習機能を備えた連続AQA(Continuous AQA)を紹介する。
  論文  参考訳（メタデータ） (2025-10-08T10:09:47Z)
• Capability Salience Vector: Fine-grained Alignment of Loss and Capabilities for Downstream Task Scaling Law [49.25050966412749]
  全体的な損失を分解し、トークンに異なる重みを割り当て、特定のメタ能力を評価する。 様々な人気のあるベンチマーク実験により、提案した能力保証ベクトルは、下流タスクにおける言語モデル性能の予測可能性を大幅に改善できることが示された。
  論文  参考訳（メタデータ） (2025-06-16T08:16:03Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Test-Time Training for Semantic Segmentation with Output Contrastive Loss [12.535720010867538]
  ディープラーニングベースのセグメンテーションモデルは、公開ベンチマークで印象的なパフォーマンスを達成したが、目に見えない環境にうまく一般化することは、依然として大きな課題である。 本稿では、適応過程を安定させるために、頑健で一般化された表現を学習する能力で知られるコントラストロス(OCL)を紹介する。 本手法は,テスト領域データに対するドメイン適応法を用いて事前学習したモデルに適用した場合においても優れ,そのレジリエンスと適応性を示す。
  論文  参考訳（メタデータ） (2023-11-14T03:13:47Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。