論文の概要: AutoScale: Linear Scalarization Guided by Multi-Task Optimization Metrics

• arxiv url: http://arxiv.org/abs/2508.13979v1
• Date: Tue, 19 Aug 2025 16:14:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:32.010865
• Title: AutoScale: Linear Scalarization Guided by Multi-Task Optimization Metrics
• Title（参考訳）: AutoScale: マルチタスク最適化メトリクスでガイドされた線形スケーラビリティ
• Authors: Yi Yang, Kei Ikemura, Qingwen Zhang, Xiaomeng Zhu, Ci Li, Nazre Batool, Sina Sharif Mansouri, John Folkesson,
• Abstract要約: 高い勾配等級類似度などの主要なMTO指標において,高い性能のスカラー化重みが特定の傾向を示すことを示す。 我々は、これらのMTOメトリクスを使用して、高価なウェイトサーチなしで、リニアスキャラライズのためのウェイトセレクションをガイドするフレームワークであるAutoScaleを紹介した。 AutoScaleは、新しい大規模ベンチマークを含む、さまざまなデータセットで高い効率で、一貫して優れたパフォーマンスを示している。
• 参考スコア（独自算出の注目度）: 16.358284714820222
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent multi-task learning studies suggest that linear scalarization, when using well-chosen fixed task weights, can achieve comparable to or even better performance than complex multi-task optimization (MTO) methods. It remains unclear why certain weights yield optimal performance and how to determine these weights without relying on exhaustive hyperparameter search. This paper establishes a direct connection between linear scalarization and MTO methods, revealing through extensive experiments that well-performing scalarization weights exhibit specific trends in key MTO metrics, such as high gradient magnitude similarity. Building on this insight, we introduce AutoScale, a simple yet effective two-phase framework that uses these MTO metrics to guide weight selection for linear scalarization, without expensive weight search. AutoScale consistently shows superior performance with high efficiency across diverse datasets including a new large-scale benchmark.
• Abstract（参考訳）: 近年のマルチタスク学習研究は、線形スカラー化が複雑なマルチタスク最適化(MTO)法と同等かそれ以上の性能が得られることを示唆している。 特定の重みが最適な性能をもたらす理由や、これらの重みを徹底したハイパーパラメータサーチに頼ることなくどのように決定するかは、まだ不明である。 本稿では, 線形スカラー化法とMTO法との直接接続を確立し, 良好なスカラー化重み付けを行う実験により, 高勾配度類似度などの重要なMTO指標の傾向を示す。 この知見に基づいて,これらのMTOメトリクスを用いて,高価なウェイトサーチを使わずに,線形スカラー化のためのウェイトセレクションをガイドする,シンプルで効果的な2フェーズフレームワークであるAutoScaleを紹介した。 AutoScaleは、新しい大規模ベンチマークを含む、さまざまなデータセットで高い効率で、一貫して優れたパフォーマンスを示している。

関連論文リスト

• IAM: Efficient Inference through Attention Mapping between Different-scale LLMs [74.81417160018856]
  IAMフレームワークは、注意計算の高速化とKVキャッシュ使用量の削減という2つの利点を実現する。 IAMはプリフィルを15%高速化し,KVキャッシュ使用量を22.1%削減できることを示す。
  論文  参考訳（メタデータ） (2025-07-16T06:39:11Z)
• Beyond First-Order: Training LLMs with Stochastic Conjugate Subgradients and AdamW [2.028622227373579]
  勾配に基づく降下(SGD)は、長い間、大きな言語モデル(LLM)の訓練の中心であった。 本稿では,LLMを学習するための適応サンプリングとともに,共役下次法を提案する。
  論文  参考訳（メタデータ） (2025-07-01T23:30:15Z)
• Dynamic Fisher-weighted Model Merging via Bayesian Optimization [37.02810891820468]
  既存のマージアプローチでは、一般的にパラメータをモデル的にスケーリングするか、パラメータの重要度をパラメータ的に統合する。 我々はこれらの戦略をより一般的な統合フレームワークに統合し、動的フィッシャー重み付け(DF-Merge)を導入する。 DF-Mergeは、異なるサイズと様々なタスクのモデルにおいて、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-04-26T18:31:14Z)
• RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models [53.571195477043496]
  本稿では,RoSTE (Rotated Straight-Through-Estimator) というアルゴリズムを提案する。 RoSTEは、量子化を意識した微調整(QA-SFT)と適応的な回転戦略を組み合わせることで、アクティベーションアウトリーを減少させる。 その結果, 予測誤差は収束重みの量子化誤差と直接比例し, 最適化された回転構成により効果的に管理できることが判明した。
  論文  参考訳（メタデータ） (2025-02-13T06:44:33Z)
• AutoScale: Scale-Aware Data Mixing for Pre-Training LLMs [61.13296177652599]
  より小さなスケールで良好に機能するデータ混合物は、大規模なスケールではその利点を保たない可能性があることを示す。 2段階のスケール対応データ合成フレームワークであるAutoScaleを提案する。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• SLAW: Scaled Loss Approximate Weighting for Efficient Multi-Task Learning [0.0]
  マルチタスク学習(MTL)は、機械学習のサブフィールドであり、重要な応用がある。 最適MTL最適化法は、各タスクの損失関数の勾配を個別に計算する必要がある。 マルチタスク最適化手法であるScaled Loss Approximate Weighting (SLAW)を提案する。
  論文  参考訳（メタデータ） (2021-09-16T20:58:40Z)
• Robusta: Robust AutoML for Feature Selection via Reinforcement Learning [24.24652530951966]
  強化学習(RL)に基づく初の堅牢なAutoMLフレームワークRobostaを提案します。 このフレームワークは,良性サンプルの競争精度を維持しつつ,モデルロバスト性を最大22%向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-01-15T03:12:29Z)
• Dynamic Scale Training for Object Detection [111.33112051962514]
  本稿では,オブジェクト検出におけるスケール変動問題を軽減するために,動的スケールトレーニングパラダイム(DST)を提案する。 提案したDSTのスケール変動処理に対する有効性を示す実験結果を得た。 推論オーバーヘッドを導入せず、一般的な検出設定のための無料ランチとして機能する。
  論文  参考訳（メタデータ） (2020-04-26T16:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。