論文の概要: UpgradeBench: A Decision-Centric Benchmark for Upgrading Fine-Tuned LLM Specialists
- arxiv url: http://arxiv.org/abs/2608.20918v1
- Date: Fri, 21 Aug 2026 09:37:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.496812
- Title: UpgradeBench: A Decision-Centric Benchmark for Upgrading Fine-Tuned LLM Specialists
- Title（参考訳）: UpgradeBench: 微調整LDMスペシャリストのアップグレードのための決定中心ベンチマーク
- Abstract要約: 4つの連続したQwenリリースをカバーする決定駆動型縦断ベンチマークであるUpgradeを提示する。
アップグレードは、新しいチェックポイントが、固定準備された専門家のパフォーマンスを改善するかどうか、バージョン間での資産移動、そして、リカバリリソースが使用可能なものかどうか、という3つの中核的な疑問を解消する。
- 参考スコア（独自算出の注目度）: 10.23869027501654
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Organizations maintain task-specific adapters for open-weight language models, and each new base-model release forces a migration decision: retain existing specialists, port adapters, refresh from preserved behavior, or retrain. Prior transfer work evaluates isolated model pairs, without studying these choices across real model release sequences. We present UpgradeBench, a decision-driven longitudinal benchmark covering four consecutive Qwen releases, one continuation checkpoint, six tasks, and two model sizes, augmented by OLMo checkpoints with known training lineage. The benchmark disentangles three core questions: whether a new checkpoint improves fixed-recipe retrained specialist performance, whether specialization assets transfer across versions, and what recovery resources are usable. We observe upgrade gains differ across task-scale-release episodes: some retrained baselines improve while others stay within training noise, with durability ranging from under one release interval for text-to-SQL to over fourteen months for intent classification. Direct adapter copying depends neither on architecture nor model family: on OLMo, retention drops from 0.88-0.99 at 46B-token continued pretraining to zero at 2.9T tokens; annealing and model souping introduce no extra harm, with portability decaying with continued-pretraining distance. Given preserved input data, teacher relabeling recovers target-base specialists without fresh gold annotations, though compute savings are not guaranteed. Simulating a fixed decision policy over 33 upgrade episodes yields 0.37pp mean quality regret with zero behavioral regressions at one-third the compute and label cost of full retraining. A lightweight CKA probe over 256 prompts predicts cross-version adapter portability (Spearman 0.74 across eight model pairs). We release per-example predictions, cost logs, split manifests, and evaluation code.
- Abstract（参考訳）: 組織はオープンウェイトな言語モデルのタスク固有のアダプタを維持しており、各ベースモデルリリースでは、既存のスペシャリストの維持、ポートアダプタの維持、保存された振る舞いからのリフレッシュ、あるいは再トレーニングといった移行決定を余儀なくされている。
先行転送作業は、実際のモデルリリースシーケンスでこれらの選択を研究することなく、孤立したモデルペアを評価する。
4つの連続したQwenリリース、1つの継続チェックポイント、6つのタスク、2つのモデルサイズをカバーする決定駆動型縦断ベンチマークであるUpgradeBenchを紹介した。
このベンチマークは、3つの中核的な疑問を解消している。新しいチェックポイントは、固定調整された専門家のパフォーマンスを改善するか、バージョン間での資産の転送を専門化するか、リカバリリソースが利用できるか、である。
再訓練されたベースラインは改善され、他のものはトレーニングノイズの中に留まり、耐久性はテキストからSQLへの1回のリリース間隔以下からインテント分類の14ヶ月以上に及ぶ。
直接アダプタの複写はアーキテクチャにもモデルファミリにも依存せず、OLMoでは0.88-0.99から46B-tokenへの保持が2.9Tトークンでの事前訓練を継続し、焼鈍とモデルスープは余分な害を伴わず、ポータビリティは継続的な事前訓練距離で崩壊する。
保存された入力データを考えると、教師は新鮮な金のアノテーションなしでターゲットベースの専門家を回復するが、計算の貯蓄は保証されない。
33回のアップグレードエピソードに対して一定の決定ポリシーをシミュレートすると、完全な再トレーニングの計算とラベルコストの3分の1で、振る舞いの回帰がゼロとなる平均的な品質後悔が0.37ppとなる。
256以上の軽量CKAプローブは、クロスバージョンアダプタのポータビリティを予測する(Spearman 0.74は8つのモデルペアにまたがっている)。
私たちは、例ごとの予測、コストログ、スプリットマニフェスト、評価コードをリリースします。
関連論文リスト
- ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。
SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。
モデル自身の失敗から両方を得るReDraftを紹介します。
論文 参考訳（メタデータ） (2026-09-15T04:59:03Z) - REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。
REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。
このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
論文 参考訳（メタデータ） (2026-08-31T11:34:19Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - RL Forgets! Towards Continual Policy Optimization [57.4336338996653]
継続的なポストトレーニングは、進化するタスクに視覚言語モデルを適用するための中心的なパラダイムになりつつある。
最近の研究は、強化学習が本質的に忘れやすいという信念から、教師付き微調整よりも強化学習を好んでいる。
我々は,事前タスク動作KL目標に基づくリプレイフリーフレームワークである継続ポリシー最適化(CPO)を提案する。
論文 参考訳（メタデータ） (2026-07-05T15:46:11Z) - Learning to Solve Generative ODEs Beyond the Linear Span [50.13853710831612]
空間残留演算子を用いてスカラー係数更新を増強する軽量ニューラルソルバであるSpanLiftを提案する。
SpanLiftは、ピクセル空間の拡散、潜水流のマッチング、降水は今、最先端の数ステップのサンプリングを実現している。
論文 参考訳（メタデータ） (2026-06-07T15:22:13Z) - PURGE: Projected Unlearning via Retain-Guided Erasure [5.069332646113575]
PURGEは、単純だが未発見の観測(継続学習(CL)と機械未学習(MU))に基づいて構築された機械学習アルゴリズムである。
CLは古いタスクを忘れずに新しいタスクを学習しようとします。MUは、反対方向に同じ根底にある緊張力を表す保持パフォーマンスを損なうことなく、特定のデータを消去しようとします。
PURGEは、MIA AUROCを0.5(理想)に近い精度で達成し、勾配上昇、KLユニフォーム、プライバシーユーティリティフロンティアのいくつかのベースラインを達成しながら、常に96%以上の精度を維持している。
論文 参考訳（メタデータ） (2026-06-02T15:53:01Z) - Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。
MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
論文 参考訳（メタデータ） (2026-06-01T21:49:54Z) - Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。
位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。
Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-04-15T18:46:35Z) - Pioneer Agent: Continual Improvement of Small Language Models in Production [6.452260317191361]
小さな言語モデルは、低コスト、高速な推論、特殊化の容易さのために、製品展開にとって魅力的なものだ。
特定のタスクに小さな言語モデルを適用するプロセスを自動化するクローズドループシステムであるPioneer Agentを提案する。
論文 参考訳（メタデータ） (2026-04-10T18:13:09Z) - When to Ponder: Adaptive Compute Allocation for Code Generation via Test-Time Training [0.0]
我々は,テストタイムトレーニング更新を選択的にトリガするために,TTT層の自己教師型再構築損失を用いたゲーティング戦略であるポンダーTTTを提案する。
コード言語モデリングにおける GPT-2 モデル (124M から 1.5B ) を用いた実験により,この信号が推論に相容れないことを示した。
論文 参考訳（メタデータ） (2025-12-31T14:49:54Z) - Gated KalmaNet: A Fading Memory Layer Through Test-Time Ridge Regression [53.48692193399171]
Gated KalmaNet(GKA)は、次のトークンを予測する際に、すべての過去を説明することによってギャップを低減するレイヤである。
テスト時間におけるオンラインリッジ回帰問題を一定メモリと線形計算コストで解決する。
ロングコンテキストでは、GKAは現実世界のRAGタスクとLongQAタスクを最大128kトークンまで拡張し、他の薄型メモリベースラインよりも10ドル%以上の相対的な改善を実現している。
論文 参考訳（メタデータ） (2025-11-26T03:26:37Z) - STABLE: Gated Continual Learning for Large Language Models [0.0]
STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。
各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。
Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
論文 参考訳（メタデータ） (2025-10-17T16:14:05Z) - Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。
そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
論文 参考訳（メタデータ） (2023-04-04T03:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。