論文の概要: Learning to Fine-tune Foundation Models under Resource Limitations
- arxiv url: http://arxiv.org/abs/2607.10694v1
- Date: Sun, 12 Jul 2026 10:32:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 15:40:48.505579
- Title: Learning to Fine-tune Foundation Models under Resource Limitations
- Title（参考訳）: 資源制限下におけるファインチューン基礎モデルの学習
- Abstract要約: 本研究では,リソース制限されたデバイスにプリトレーニング済みのファンデーションモデルに対する最適連続微調整の問題について検討する。
我々の目標は、有限計算予算の下でモデルを微調整することを決定する最適なポリシーを学習することである。
広範に使用されているテキスト分類データセット上での事前学習モデルによる実験により,本手法は計算予算で常に微調整手法より優れていることが示された。
- 参考スコア（独自算出の注目度）: 2.7071541526963805
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the problem of optimal continual fine-tuning for a pre-trained Foundation Model deployed at a resource-limited device. At each time slot, a new batch of training data arrives, and the controller is faced with two options: either use the data to fine-tune the model and incur a compute cost, or do not fine-tune the model and discard the data. After the decision, the performance of the current model is measured in terms of an application-specific performance metric such as classification accuracy. Our objective is to learn an optimal policy that determines \emph{when to fine-tune the model} on a single task (e.g., sentiment analysis), under a finite compute budget. We formulate this online decision-making problem as a constrained Markov Decision Process, where the system state captures three essential aspects: (\textit{i}) model's performance, (\textit{ii}) computational budget, and (\textit{iii}) data distribution relevance to historic data encountered up to that point. The transition to the next state is stochastic and therefore, we propose a reinforcement learning-based method to solve this problem, namely the \emph{actor-critic} algorithm. We also consider the special case where the performance of fine-tuning for a given model can be predicted or estimated prior to decision; in this case the problem becomes a Dynamic Programming one. Experiments with a large pre-trained model on a widely-used text classification dataset demonstrate that our method consistently outperforms fine-tuning approaches with the same compute budget by more than $4\%$ in terms of accuracy and achieves $97\%$ of full-parameter fine-tuning accuracy while requiring only $25\%$ of the fine-tuning steps.
- Abstract（参考訳）: 本研究では,リソース制限されたデバイスに事前学習したファンデーションモデルに対する最適連続微調整の問題について検討する。
各タイムスロットで、新しいトレーニングデータが到着し、コントローラが2つの選択肢に直面する。データを使用してモデルを微調整し、計算コストを発生させるか、モデルを微調整してデータを破棄しないかだ。
決定後、分類精度などのアプリケーション固有の性能指標を用いて、現在のモデルの性能を測定する。
我々の目的は、有限の計算予算の下で、1つのタスク(例えば感情分析)で \emph{when to fine-tune the model} を決定する最適なポリシーを学習することである。
我々は,このオンライン意思決定問題をマルコフ決定プロセスとして定式化し,システム状態が3つの重要な側面を捉える: (\textit{i}) モデルの性能, (\textit{ii}) 計算予算, (\textit{iii}) 履歴データとの関係。
次状態への遷移は確率的であり、この問題を解くための強化学習に基づく手法、すなわち \emph{actor-critic} アルゴリズムを提案する。
また、与えられたモデルに対する微調整のパフォーマンスを、決定の前に予測または推定できる特別なケースについても検討する。
広義のテキスト分類データセットを用いた大規模事前学習モデルによる実験により,提案手法は精度において同一の計算予算による微調整アプローチを4\%以上上回り,全パラメータの微調整精度は9,7\%以上であり,微調整ステップの25\%程度しか必要としないことがわかった。
関連論文リスト
- The Challenger: When Do New Data Sources Justify Switching Machine Learning Models? [2.7998963147546143]
組織がトレーニング済みの既存モデルを、新たに利用可能な機能に依存した挑戦者に置き換えるべきかどうかを判断する問題について検討する。
我々は,学習曲線のダイナミクス,データ取得と再学習のコスト,将来的な利益の割引を結びつける統一的な経済・統計的な枠組みを開発する。
論文 参考訳（メタデータ） (2025-12-20T15:03:40Z) - e1: Learning Adaptive Control of Reasoning Effort [88.51897900019485]
AIモデルの思考予算の増大は、精度を大幅に向上させるが、すべての質問が同じ量の推論を保証しているわけではない。
ユーザは、アウトプットの品質を、レイテンシやコストに対してどのように評価するかによって、さまざまな理由付けの労力を割り当てる傾向があります。
本稿では,ユーザが指定したトークン数を用いてモデルを学習する自己適応型強化学習手法であるAdaptive Effort Controlを提案する。
論文 参考訳（メタデータ） (2025-10-30T23:12:21Z) - Intention-Conditioned Flow Occupancy Models [80.42634994902858]
大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。
同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。
生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
論文 参考訳（メタデータ） (2025-06-10T15:27:46Z) - Entropy-Based Adaptive Weighting for Self-Training [15.089334734753677]
自己学習のためのエントロピーに基づく適応重み付け(EAST)を提案する。
EASTは、自己学習中に不確実なデータを優先順位付けするために設計された適応的な重み付け戦略である。
我々はGSM8KおよびMATHベンチマークに対するアプローチを評価する。
論文 参考訳（メタデータ） (2025-03-31T10:04:35Z) - Value-Based Deep RL Scales Predictably [100.21834069400023]
本研究は, 地域社会が病的行動に不安を抱いているにもかかわらず, 価値に基づく非政治的RL法が予測可能であることを示す。
SAC、BRO、PQLの3つのアルゴリズムを使って、DeepMind Control、OpenAI gym、IsaacGymの3つのアプローチを検証する。
論文 参考訳（メタデータ） (2025-02-06T18:59:47Z) - Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - Compute-Constrained Data Selection [77.06528009072967]
多くの強力なデータ選択手法は、ほとんど計算に最適ではないことが分かりました。
計算最適トレーニングでは、パープレキシティと勾配データ選択は、それぞれ5xと10xのトレーニング-選択モデルサイズ比を必要とする。
論文 参考訳（メタデータ） (2024-10-21T17:11:21Z) - Model Cascading for Code: A Cascaded Black-Box Multi-Model Framework for Cost-Efficient Code Completion with Self-Testing [20.445496441396028]
本稿では,モデルカスケーディングと推論時自己テストアルゴリズムを組み合わせた新しいフレームワークを提案する。
このアプローチでは,自己生成テストを活用して精度を高め,モデルのカスケード決定を評価する。
実験結果から, カスケード手法はコストを平均26%削減し, ベストケースでは最大70%削減できることがわかった。
論文 参考訳（メタデータ） (2024-05-24T16:20:04Z) - LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。
本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。
距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
論文 参考訳（メタデータ） (2023-04-28T19:05:16Z) - Sufficiently Accurate Model Learning for Planning [119.80502738709937]
本稿では,制約付きSufficiently Accurateモデル学習手法を提案する。
これはそのような問題の例を示し、いくつかの近似解がいかに近いかという定理を提示する。
近似解の質は、関数のパラメータ化、損失と制約関数の滑らかさ、モデル学習におけるサンプルの数に依存する。
論文 参考訳（メタデータ） (2021-02-11T16:27:31Z) - On Statistical Efficiency in Learning [37.08000833961712]
モデルフィッティングとモデル複雑性のバランスをとるためのモデル選択の課題に対処する。
モデルの複雑さを順次拡大し、選択安定性を高め、コストを削減するオンラインアルゴリズムを提案します。
実験の結果, 提案手法は予測能力が高く, 計算コストが比較的低いことがわかった。
論文 参考訳（メタデータ） (2020-12-24T16:08:29Z) - The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。
我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。
3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
論文 参考訳（メタデータ） (2020-04-16T04:28:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。