論文の概要: No Universal Signal Predicts Sample-Level LLM Regression under Version Updates

• arxiv url: http://arxiv.org/abs/2608.13607v1
• Date: Tue, 11 Aug 2026 15:13:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.1616
• Title: No Universal Signal Predicts Sample-Level LLM Regression under Version Updates
• Title（参考訳）: ユニバーサル信号は、バージョンアップデートでサンプルレベルLLM回帰を予測しない
• Abstract要約: 本稿では、推定時に利用可能な信号からそのような回帰を予測する方法について検討する。 実践者は、これらのタスクレベルのパターンを使用して、所定の更新に対して信頼するレグレッションシグナルを選択することができる。
• 参考スコア（独自算出の注目度）: 2.6426981014417055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier LLMs are updated frequently and typically outperform their predecessors in aggregate. But aggregate gains say little about individual samples: an update can still cause sample-level regression, where a response correct under the old model becomes incorrect under the new one. This paper studies how to predict such regressions from signals available at inference time. We compare single-model signals (confidence, logit margin, attention entropy) against cross-version signals (output KL divergence, likelihood drift, token-level KL, representation drift) under a unified added-value test that isolates each signal's gain over a confidence baseline. Across six benchmarks in three task families (multiple-choice question answering, or MCQ; math reasoning; code generation) and six model update pairs, we find that (1) signal effectiveness is task-dependent: confidence is strongest on MCQ and simpler math, while likelihood/KL signals give the most frequent gains on harder math and code; (2) no signal is universally best across model updates either; and (3) some cross-version signals stay informative even when confidence fails, including without labels, which supports a proof-of-concept selective fallback that routes high-risk samples back to the old model. Practitioners can use these task-level patterns to choose which regression signal to trust for a given update. Code is available at https://github.com/jiashengsally/llm-regression-signals.
• Abstract（参考訳）: 最前線のLSMは頻繁に更新され、概して前任者を上回っている。 更新によってサンプルレベルのリグレッションが発生し、古いモデルで正しいレスポンスが新しいモデルで正しくない場合もあります。 本稿では、推定時に利用可能な信号からそのような回帰を予測する方法について検討する。 我々は、信頼ベースライン上で各信号の利得を分離する付加値テストにおいて、単一モデル信号(信頼、ロジットマージン、注意エントロピー)とクロスバージョン信号(出力KLばらつき、推定ドリフト、トークンレベルKL、表現ドリフト)を比較する。 1)信号の有効性はMCQに強く、より単純な数学に強く、一方、確率/KL信号はより難しい数学とコードに最も高い利得を与える。(2)信号はモデル更新に普遍的に最適である。 実践者は、これらのタスクレベルのパターンを使用して、所定の更新に対して信頼するレグレッションシグナルを選択することができる。 コードはhttps://github.com/jiashengsally/llm-regression-signalsで入手できる。

関連論文リスト

• Ouroboros-Spatial: Closing the Data-Model Loop for Spatial Reasoning [13.767813688729161]
  既存のアプローチは、大規模で静的にキュレートされたデータセットに大きく依存している。 Ouroboros-Spatialは自己進化型トレーニングフレームワークであり、モデルがプロジェクタとソルバとして二重の役割を演じる。 Ouroboros-SpatialはQwen3-VL-4BとQwen3-VL-8Bを大幅に改善し、最近の大規模データセットよりも少ないトレーニング例を使用した。
  論文  参考訳（メタデータ） (2026-06-10T06:49:21Z)
• LLMs Know When They Know, but Do Not Act on It: A Metacognitive Harness for Test-time Scaling [26.999207995495354]
  我々は,大規模言語モデル (LLM) が有効なテスト時間制御に変換できる潜在メタ認知能力を持っているかどうかを問う。 認知心理学からネルソン=ナレンズ理論に触発された我々は、モニタリングと推論を分離するメタ認知的ハーネスを提案する。
  論文  参考訳（メタデータ） (2026-05-13T23:09:25Z)
• Understanding and Mitigating Spurious Signal Amplification in Test-Time Reinforcement Learning for Math Reasoning [37.981949917083746]
  テスト時強化学習(TTRL)は常に擬似ラベルによる推論時にモデルを適応させる。 本稿では,突発的なシグナルを緩和する統合フレームワークであるDebiased and Denoised test-time Reinforcement Learningを提案する。
  論文  参考訳（メタデータ） (2026-04-23T06:32:08Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Generalized Regression with Conditional GANs [2.4171019220503402]
  本稿では,学習データセットにおける特徴ラベルペアと,対応する入力と組み合わせて出力を区別できない予測関数を学習することを提案する。 回帰に対するこのアプローチは、私たちが適合するデータの分布に対する仮定を減らし、表現能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-04-21T01:27:47Z)
• ReLU Regression with Massart Noise [52.10842036932169]
  本稿では、ReLU回帰の基本的問題として、Rectified Linear Units(ReLU)をデータに適合させることを目標としている。 我々は自然およびよく研究された半ランダムノイズモデルであるMassartノイズモデルにおけるReLU回帰に着目した。 このモデルにおいて,パラメータの正確な回復を実現する効率的なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-10T02:13:22Z)
• Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
  この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。 回帰フリーモデル更新を制約付き最適化問題に定式化する。 モデルアンサンブルが回帰を減らす方法を実証的に分析します。
  論文  参考訳（メタデータ） (2021-05-07T03:33:00Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
  機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。 最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。 第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
  論文  参考訳（メタデータ） (2020-01-15T18:32:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。