論文の概要: Can Training Logs Make Model Comparisons More Precise?

• arxiv url: http://arxiv.org/abs/2608.02705v1
• Date: Mon, 03 Aug 2026 16:08:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:22.905022
• Title: Can Training Logs Make Model Comparisons More Precise?
• Title（参考訳）: トレーニングログはモデルの比較をより正確にできるか?
• Abstract要約: 同じ実行からログをトレーニングすることで、そのような比較がより正確になるかどうかを調査する。 初期のトレーニングログに基づく簡単な調整は、しばしばモデル比較の不確実性を減少させる。 トレーニングログは、より正確なモデル比較に有用であるが、調整が大きな選択ノイズを避ける場合に限られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Comparing stochastically trained models requires estimating both a performance difference and its uncertainty from repeated runs. We study whether training logs from those same runs can make such comparisons more precise. Because training-log covariates are produced during training rather than measured before it, we use arm-specific covariate adjustment: each model is adjusted only with statistics from its own runs, and the raw mean difference remains the reported effect. In a vision study spanning three architectures and three datasets, simple adjustments based on early training logs often reduce uncertainty in model comparisons. The main limitation is covariate selection. Broadly searching the log pool for the most correlated statistic often adds more noise than it removes, even when useful statistics exist in hindsight. Training logs therefore appear useful for more precise model comparisons, but only when the adjustment avoids large selection noise.
• Abstract（参考訳）: 確率的に訓練されたモデルを比較するには、性能差と繰り返し実行による不確実性の両方を推定する必要がある。 同じ実行からログをトレーニングすることで、そのような比較がより正確になるかどうかを調査する。 トレーニングログの共変数は,事前に測定するのではなく,トレーニング中に生成されるので,各モデルが自身の実行状況からのみ統計に基づいて調整され,生平均差が報告された結果のままである。 3つのアーキテクチャと3つのデータセットにまたがるビジョンスタディでは、初期のトレーニングログに基づいた単純な調整がモデル比較の不確実性を減少させることが多い。 主な制限は共変量選択である。 最も相関した統計量のためにログプールを広く検索すると、後から有用な統計情報が存在する場合でも、削除するよりもノイズが増すことが多い。 したがって、トレーニングログはより正確なモデル比較に有用であるが、調整が大きな選択ノイズを避ける場合に限られる。

関連論文リスト

• How Proper Scoring Rules Shape LLM Forecasting [0.0]
  5つの適切なスコアリングルールを、解決された実世界の事象のバイナリ予測のためのトレーニング目標として比較する。 得られたモデルは、キャリブレーション、確率利用、バイアス、情報、ノイズの推定プロファイルが異なる。
  論文  参考訳（メタデータ） (2026-08-28T16:08:51Z)
• A Hitchhiker's Guide to Scaling Law Estimation [56.06982415792523]
  スケーリング法則は、より少ないパラメータやより少ないトレーニングセットで訓練が容易なモデルから外挿することで、ターゲットとなる機械学習モデルの損失を予測する。 我々は1000以上のスケーリング法則を推定し、新しいモデルファミリーにおけるスケーリング法則を推定するためのベストプラクティスを導出する。
  論文  参考訳（メタデータ） (2024-10-15T17:59:10Z)
• A replica analysis of under-bagging [3.1274367448459253]
  Under-bagging (UB) は、不均衡なデータに基づいて分類器を訓練するための一般的なアンサンブル学習手法である。 アンダーサンプリングによる試料径の減少による分散の増大を抑えるためにバッジを用いることは自然なアプローチである。 近年、一般化線形モデルでは、クラス不均衡構造を考慮しない単純バッグングとリッジ正則化が同じ結果をもたらすことが指摘されている。
  論文  参考訳（メタデータ） (2024-04-15T13:31:31Z)
• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Finding the SWEET Spot: Analysis and Improvement of Adaptive Inference in Low Resource Settings [6.463202903076821]
  トレーニングデータに制限がある場合、適応推論の2つの主要なアプローチであるEarly-ExitとMulti-Modelを比較した。 Early-Exitは、マルチモデルアプローチのオーバーヘッドのために、より高速なトレードオフを提供する。 本稿では,SWEETを提案する。SWEETは,各分類器に独自のモデル重みの集合を割り当てる初期出力微調整法である。
  論文  参考訳（メタデータ） (2023-06-04T09:16:39Z)
• Same Pre-training Loss, Better Downstream: Implicit Bias Matters for Language Models [46.24479693469042]
  本稿では,(1)事前学習損失が下流性能を完全に説明できないこと,(2)事前学習損失がない場合の下流性能とモデルの平坦性はよく相関していることを示す。
  論文  参考訳（メタデータ） (2022-10-25T17:45:36Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)
• Bounding Evidence and Estimating Log-Likelihood in VAE [7.5756417889485315]
  本稿では,データのエビデンスを効率的に近似できる,汎用的で効果的な上限を導入する。 我々は,他の最先端の上界との比較を含む,我々のアプローチに関する広範な理論的,実験的研究を行っている。
  論文  参考訳（メタデータ） (2022-06-19T17:13:58Z)
• Uncertainty Estimation for Language Reward Models [5.33024001730262]
  言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。 人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。 能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
  論文  参考訳（メタデータ） (2022-03-14T20:13:21Z)
• Impact of Pretraining Term Frequencies on Few-Shot Reasoning [51.990349528930125]
  事前学習された言語モデルが、事前学習データにおいてあまり頻度の低い用語でどの程度理にかなっているかを検討する。 我々は,様々な数値推論タスクにおいて,GPTに基づく言語モデルに対して,この相関関係の強さを計測する。 LMは数秒の数値推論タスクにおいて高い性能を示すが,本研究の結果は,事前学習データを超えるモデルが実際にどれだけ一般化されるのかという疑問を提起する。
  論文  参考訳（メタデータ） (2022-02-15T05:43:54Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。