論文の概要: Capability Salience Vector: Fine-grained Alignment of Loss and Capabilities for Downstream Task Scaling Law

• arxiv url: http://arxiv.org/abs/2506.13216v1
• Date: Mon, 16 Jun 2025 08:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.790383
• Title: Capability Salience Vector: Fine-grained Alignment of Loss and Capabilities for Downstream Task Scaling Law
• Title（参考訳）: 能力保証ベクトル:ダウンストリームタスクスケーリング法における損失と能力の微粒化
• Authors: Qiming Ge, Shuhao Xing, Songyang Gao, Yunhua Zhou, Yicheng Zou, Songyang Zhang, Zhi Chen, Hang Yan, Qi Zhang, Qipeng Guo, Kai Chen,
• Abstract要約: 全体的な損失を分解し、トークンに異なる重みを割り当て、特定のメタ能力を評価する。 様々な人気のあるベンチマーク実験により、提案した能力保証ベクトルは、下流タスクにおける言語モデル性能の予測可能性を大幅に改善できることが示された。
• 参考スコア（独自算出の注目度）: 49.25050966412749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling law builds the relationship between training computation and validation loss, enabling researchers to effectively predict the loss trending of models across different levels of computation. However, a gap still remains between validation loss and the model's downstream capabilities, making it untrivial to apply scaling law to direct performance prediction for downstream tasks. The loss typically represents a cumulative penalty for predicted tokens, which are implicitly considered to have equal importance. Nevertheless, our studies have shown evidence that when considering different training data distributions, we cannot directly model the relationship between downstream capability and computation or token loss. To bridge the gap between validation loss and downstream task capabilities, in this work, we introduce Capability Salience Vector, which decomposes the overall loss and assigns different importance weights to tokens to assess a specific meta-capability, aligning the validation loss with downstream task performance in terms of the model's capabilities. Experiments on various popular benchmarks demonstrate that our proposed Capability Salience Vector could significantly improve the predictability of language model performance on downstream tasks.
• Abstract（参考訳）: スケーリング法則は、トレーニング計算と検証損失の関係を構築し、研究者は異なるレベルの計算でモデルの損失傾向を効果的に予測できる。 しかし、検証損失とモデルのダウンストリーム能力の間にはまだギャップが残っており、ダウンストリームタスクのパフォーマンス予測にスケーリング法則を適用するのは簡単ではない。 この損失は通常、予測されたトークンに対する累積的なペナルティを表しており、これは暗黙的に同じ重要性を持つと考えられている。 しかし,本研究では,異なるトレーニングデータ分布を考慮すると,下流能力と計算量,トークン損失の関係を直接モデル化することはできないことを示す。 本研究では、検証損失と下流タスク能力のギャップを埋めるために、全体的な損失を分解し、特定のメタ能力を評価するためにトークンに異なる重み付けを割り当て、モデルの能力の観点から検証損失と下流タスク性能を整合させる機能サリエンスベクトルを導入する。 様々な人気のあるベンチマーク実験により、提案した能力保証ベクトルは、下流タスクにおける言語モデル性能の予測可能性を大幅に改善できることが示された。

関連論文リスト

• On Fairness of Task Arithmetic: The Role of Task Vectors [1.236974227340167]
  本研究では,タスクベクトルの操作が,復号化パリティや等化オッドなどの公平度指標に与える影響について検討する。 本研究は, モデル編集の公正性に関する新たな知見を提供し, 公平性を意識し, 責任あるモデル編集実践の基盤を確立するものである。
  論文  参考訳（メタデータ） (2025-05-30T06:34:01Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  点予測損失の最小化は、潜時関係情報の適切な学習を保証するものではないことを示す。 本稿では,この共同学習課題を解決するサンプリングベース手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• On Transfer of Adversarial Robustness from Pretraining to Downstream Tasks [1.8900691517352295]
  下流タスクにおける線形予測子のロバスト性は、その基盤となる表現のロバスト性によって制約できることを示す。 本結果は,適応後の信頼性向上のために,表現関数の要求を特徴付けるための最初のステップを提供する。
  論文  参考訳（メタデータ） (2022-08-07T23:00:40Z)
• Uncertainty in Contrastive Learning: On the Predictability of Downstream Performance [7.411571833582691]
  このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。 埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
  論文  参考訳（メタデータ） (2022-07-19T15:44:59Z)
• Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
  クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。 最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。 実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
  論文  参考訳（メタデータ） (2021-09-12T23:14:06Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。