論文の概要: Hidden Breakthroughs in Language Model Training

• arxiv url: http://arxiv.org/abs/2506.15872v1
• Date: Wed, 18 Jun 2025 20:40:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:04.851142
• Title: Hidden Breakthroughs in Language Model Training
• Title（参考訳）: 言語モデルトレーニングにおける隠れたブレークスルー
• Authors: Sara Kangaslahti, Elan Rosenfeld, Naomi Saphra,
• Abstract要約: 本稿では、同様のブレークスルーがトレーニングを通して頻繁に発生するが、すべての変動を1つのスカラーに分解する損失指標によって隠蔽されていることを論じる。 低ランクトレーニングサブスペースの任意のベースに沿った損失変化を分解するPOLCAを導入する。 POLCAがモデル能力の解釈可能なブレークスルーを表すクラスタを復元することを示すため,合成算術と自然言語のタスクに対する本手法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 9.183934538035562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss curves are smooth during most of model training, so visible discontinuities stand out as possible conceptual breakthroughs. Studying these breakthroughs enables a deeper understanding of learning dynamics, but only when they are properly identified. This paper argues that similar breakthroughs occur frequently throughout training but they are obscured by a loss metric that collapses all variation into a single scalar. To find these hidden transitions, we introduce POLCA, a method for decomposing changes in loss along arbitrary bases of the low-rank training subspace. We use our method to identify clusters of samples that share similar changes in loss during training, disaggregating the overall loss into that of smaller groups of conceptually similar data. We validate our method on synthetic arithmetic and natural language tasks, showing that POLCA recovers clusters that represent interpretable breakthroughs in the model's capabilities. We demonstrate the promise of these hidden phase transitions as a tool for unsupervised interpretability.
• Abstract（参考訳）: 損失曲線はモデルトレーニングのほとんどで滑らかであるため、目に見える不連続は概念的なブレークスルーとして際立っている。 これらのブレークスルーを研究することで、ダイナミックスを学ぶことのより深い理解が可能になる。 本論文は、同様のブレークスルーはトレーニングを通して頻繁に発生するが、すべての変動を単一のスカラーに分解する損失計量によって無視される。 隠れた遷移を見つけるために、低ランクトレーニング部分空間の任意の基底に沿った損失の変化を分解するPOLCAを導入する。 本手法は,学習中の損失の類似した変化を共有できるサンプルのクラスタを同定し,全体の損失を概念的に類似した小さなグループに分解する。 POLCAがモデル能力の解釈可能なブレークスルーを表すクラスタを復元することを示すため,合成算術と自然言語のタスクに対する本手法の有効性を検証した。 教師なしの解釈可能性のためのツールとして,これらの隠蔽相転移の可能性を実証する。

関連論文リスト

• Weight Factorization and Centralization for Continual Learning in Speech Recognition [55.63455095283984]
  リハーサルのない多言語、言語に依存しない状態でモデルを継続的に訓練することは、破滅的な忘れを招きかねない。 人間の脳が覚醒サイクルを通じて知識を学習・統合する能力に着想を得て,継続的な学習手法を提案する。
  論文  参考訳（メタデータ） (2025-06-19T19:59:24Z)
• Diffusing States and Matching Scores: A New Framework for Imitation Learning [16.941612670582522]
  敵対的模倣学習は伝統的に、学習者と敵対的に選択されたコスト関数の間の2つのプレイヤーゼロサムゲームとしてフレーム化されている。 拡散モデルは、回帰を通じてスコア関数を訓練することだけを必要とするGANの非敵対的な代替品として登場した。 提案手法は, GANスタイルの模倣学習ベースラインと差別化なし模倣学習ベースラインの両方を, 連続制御問題に比較して優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:59:25Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• Semi-Discriminative Representation Loss for Online Continual Learning [16.414031859647874]
  勾配に基づくアプローチは、コンパクトなエピソードメモリをより効率的に活用するために開発されている。 本稿では,SDRL(Semi-Discriminative Representation Loss)という,連続学習のための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2020-06-19T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。