論文の概要: COSMOS: Predictable and Cost-Effective Adaptation of LLMs

• arxiv url: http://arxiv.org/abs/2505.01449v1
• Date: Wed, 30 Apr 2025 02:06:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.115865
• Title: COSMOS: Predictable and Cost-Effective Adaptation of LLMs
• Title（参考訳）: COSMOS: LLMの予測可能かつコスト効果の適応
• Authors: Jiayu Wang, Aws Albarghouthi, Frederic Sala,
• Abstract要約: 大規模言語モデル(LLM)は、多種多様な適応戦略を用いることで、多くのタスクにわたって顕著なパフォーマンスを達成する。 最小限のコストで適応結果を効率的に推定する統合予測フレームワークであるCOSMOSを紹介する。
• 参考スコア（独自算出の注目度）: 21.91455944905485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) achieve remarkable performance across numerous tasks by using a diverse array of adaptation strategies. However, optimally selecting a model and adaptation strategy under resource constraints is challenging and often requires extensive experimentation. We investigate whether it is possible to accurately predict both performance and cost without expensive trials. We formalize the strategy selection problem for LLMs and introduce COSMOS, a unified prediction framework that efficiently estimates adaptation outcomes at minimal cost. We instantiate and study the capability of our framework via a pair of powerful predictors: embedding-augmented lightweight proxy models to predict fine-tuning performance, and low-sample scaling laws to forecast retrieval-augmented in-context learning. Extensive evaluation across eight representative benchmarks demonstrates that COSMOS achieves high prediction accuracy while reducing computational costs by 92.72% on average, and up to 98.71% in resource-intensive scenarios. Our results show that efficient prediction of adaptation outcomes is not only feasible but can substantially reduce the computational overhead of LLM deployment while maintaining performance standards.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多種多様な適応戦略を用いることで、多くのタスクにわたって顕著なパフォーマンスを達成する。 しかし、資源制約の下でモデルと適応戦略を最適に選択することは困難であり、しばしば広範な実験を必要とする。 高価な試行錯誤なしに性能とコストの両方を正確に予測できるかどうかを検討する。 我々はLSMの戦略選択問題を定式化し、最小コストで適応結果を効率的に推定する統合予測フレームワークであるCOSMOSを導入する。 我々は,2つの強力な予測器を用いて,フレームワークの機能のインスタンス化と研究を行う。埋め込み強化軽量プロキシモデルにより微調整性能を予測し,低サンプルスケーリング法則により検索強化インコンテキスト学習を予測する。 8つの代表的なベンチマークにおいて、COSMOSは計算コストを平均で92.72%、資源集約シナリオで98.71%削減しながら高い予測精度を達成している。 この結果から, 適応結果の効率的な予測は実現可能であるだけでなく, 性能基準を維持しつつ, LLM配置の計算オーバーヘッドを大幅に低減できることがわかった。

関連論文リスト

• Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs? [32.04523360747506]
  本研究では,501BパラメータLLM変種を用いて,系統的な事前学習構成を持つデータセットを構築した。 本稿では,事前学習から得られた新しい教師なしおよび教師なしのプロキシメトリクスを導入し,相対的な性能予測誤差率を50%以上削減する。
  論文  参考訳（メタデータ） (2025-04-16T21:19:09Z)
• Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective [5.09611816929943]
  モデルトレーニングに先立って、ダウンストリームタスクのパフォーマンスを正確に予測することは、効率的なリソース割り当てに不可欠である。 既存の性能予測手法は精度と信頼性に限界がある。 本稿では,クラスタリングオンディフルティ(COD)の下流性能予測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-24T15:44:57Z)
• The Journey Matters: Average Parameter Count over Pre-training Unifies Sparse and Dense Scaling Laws [51.608402959163925]
  本稿では,大規模言語モデルに対する最適スパース事前学習構成の体系的検討を行う。 総トレーニング計算の25%でプルーニングを開始し、75%で終了すると、ほぼ最適の最終評価損失が得られることがわかった。 本稿では,事前学習よりも平均パラメータ数を使用するように,チンチラスケーリング法を修正した新しいスケーリング法を提案する。
  論文  参考訳（メタデータ） (2025-01-21T20:23:22Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• Understanding the Performance and Estimating the Cost of LLM Fine-Tuning [9.751868268608675]
  コスト効率の良い特定のタスクのための微調整大型言語モデル(LLM)。 本稿では,Sparse Mixture of Experts (MoE)をベースとしたLLMファインチューニングを特徴付ける。 また,クラウド上でのLCM微調整のコストを推定するための解析モデルを開発し,検証する。
  論文  参考訳（メタデータ） (2024-08-08T16:26:07Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Value Augmented Sampling for Language Model Alignment and Personalization [39.070662999014836]
  報酬最適化のための新しいフレームワーク、価値拡張サンプリング(VAS)を提案する。 VASは、ポリシーと値関数を併用することなく、最適報酬最大化ポリシーを解く。 我々のアルゴリズムは、いくつかの報酬を作曲し、展開期間中に各報酬の幅を制御できる新しい能力を解き放ちます。
  論文  参考訳（メタデータ） (2024-05-10T17:59:04Z)
• Which Examples to Annotate for In-Context Learning? Towards Effective and Efficient Selection [35.924633625147365]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。 本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
  論文  参考訳（メタデータ） (2023-10-30T22:03:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。