論文の概要: A Risk Decomposition Framework for Pre-Hoc Fine-Tuning Prediction

• arxiv url: http://arxiv.org/abs/2606.17649v1
• Date: Tue, 16 Jun 2026 08:07:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.346884
• Title: A Risk Decomposition Framework for Pre-Hoc Fine-Tuning Prediction
• Title（参考訳）: プレホック微調整予測のためのリスク分解フレームワーク
• Authors: Yuxiang Luo, Chen Wang, Nan Tang,
• Abstract要約: 微調整 LLM の高コスト化は経済的障壁となり、このコストを著しく削減するためには、プリホック性能予測が重要な解決策となる。 情報制約下での予測問題として定式化し、予測リスクを2つのコンポーネントに分解する。 本稿では,タスクを静的,動的臨界,騒音支配の3つに分類する予測可能性フェーズ図を提案する。
• 参考スコア（独自算出の注目度）: 7.112791813526235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The high cost of fine-tuning LLMs poses a significant economic barrier; pre-hoc performance prediction offers a critical solution to substantially reduce this expense. However, the theoretical limits of pre-hoc performance prediction remain unexplored. We formulate it as a stochastic estimation problem under information constraints, decomposing prediction risk into two components: an intrinsic limit (static data-model compatibility) and a reducible optimization variance. We prove that optimization variance admits a necessary lower bound on its decay rate, implying fundamental constraints on how quickly uncertainty dissipates, regardless of the predictor used. Based on these dynamics, we derive a budget-optimal probing principle and introduce a predictability phase diagram that organizes tasks into three distinct regimes: Static-Sufficient, Dynamic-Critical, and Noise-Dominant. Extensive experiments on synthetic and real-world benchmarks validate these theoretical regimes and demonstrate the efficiency of our probing strategy.
• Abstract（参考訳）: 微調整 LLM の高コスト化は、経済的障壁を著しく引き起こす。 しかし、プリホック性能予測の理論的限界は未解明のままである。 情報制約下での確率的推定問題として定式化し、予測リスクを2つのコンポーネントに分解する。 最適化の分散は、その減衰率に必要最低限の制限を許すことを証明し、不確実性がどれだけ早く散逸するかという基本的な制約を示唆する。 これらのダイナミクスに基づいて、予算最適化の原則を導出し、タスクを静的・十分・動的・クリティカル・ノイズ・ドミナントという3つの異なる体制に整理する予測可能性フェーズ図を導入します。 人工的および実世界のベンチマークに関する大規模な実験は、これらの理論的条件を検証し、我々の探索戦略の効率性を実証する。

関連論文リスト

• Observationally Informed Adaptive Causal Experimental Design [55.998153710215654]
  本稿では,観測モデルを基礎的先行として活用する新たなパラダイムであるアクティブ残留学習を提案する。 このアプローチは、実験的な焦点を、目標因果量の学習から、観察バイアスの補正に必要な残差を効率的に推定するへとシフトさせる。 合成および半合成ベンチマークの実験は、R-Designがベースラインを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2026-03-04T06:52:37Z)
• Unified Inference Framework for Single and Multi-Player Performative Prediction: Method and Asymptotic Optimality [15.289993502701305]
  本稿では,単一エージェントと複数エージェントのパフォーマンスを橋渡しする,統一的な統計的推論フレームワークを提案する。 動的でパフォーマンスの高い環境で、信頼性の高い見積もりと意思決定のための原則化されたツールキットを提供する。
  論文  参考訳（メタデータ） (2026-02-03T03:17:54Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• "Over-optimizing" for Normality: Budget-constrained Uncertainty Quantification for Contextual Decision-making [1.2997358113120427]
  重み付きサンプル平均近似(wSAA)を用いた文脈最適化の不確実性定量化について検討する。 我々は、wSAAの中央極限定理を確立し、最適条件予測コストに対するアルゴリズム正規性に基づく信頼区間を構築する。 我々は、予算制約付き推定器の収束率をわずかに低下させ、過度に最適化する'(命名規則よりも多くのイテレーションを実行する)が、この過ちを軽減し、正規性を保っていることを示す。
  論文  参考訳（メタデータ） (2025-03-17T02:31:56Z)
• Smart Predict-then-Optimize Method with Dependent Data: Risk Bounds and Calibration of Autoregression [7.369846475695131]
  本稿では,決定段階における最適化問題を直接対象とする自己回帰型SPO手法を提案する。 我々は, 絶対損失と最小二乗損失と比較して, SPO+サロゲートの有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2024-11-19T17:02:04Z)
• Fair Risk Minimization under Causal Path-Specific Effect Constraints [3.0232957374216953]
  本稿では,機械学習を用いて最適な予測を推定するためのフレームワークを提案する。 平均二乗誤差とクロスエントロピーリスク基準に基づく制約付き最適化のための閉形式解を導出する。
  論文  参考訳（メタデータ） (2024-08-03T02:05:43Z)
• C-Learner: Constrained Learning for Causal Inference [4.370964009390564]
  本稿では,両世界の最適な重み付けを実現し,安定したプラグイン推定を実現する新しいデバイアス化手法を提案する。 我々の制約学習フレームワークは、プラグイン量に対する一階誤差がゼロであるという制約の下で、最高のプラグイン推定器を解く。
  論文  参考訳（メタデータ） (2024-05-15T16:38:28Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。