論文の概要: On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Language Models
- arxiv url: http://arxiv.org/abs/2611.16736v1
- Date: Thu, 12 Nov 2026 12:51:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.470901
- Title: On the Difficulty of Sequence-Level Supervised Learning for Autoregressive Language Models
- Title(参考訳): 自己回帰型言語モデルにおけるシーケンスレベル監視学習の難しさについて
- Abstract要約: 2つの自然な試みによって、根本的な欠陥のある損失関数が導かれることを示す。
自己回帰的なガンベルのトリックを用いて、サンプリングに基づく損失は、ガンベルの摂動の下で予想される欲求損失である。
我々は,教師の強制力は,自己回帰モデルの教師付き学習に必要なすべてである,と結論付けている。
- 参考スコア(独自算出の注目度): 12.396042565336991
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: During the supervised learning phase, autoregressive language models are typically trained by minimizing the negative log-likelihood of the training data, which decomposes as a sum of token-level cross-entropies via teacher forcing. This objective is simple and efficient but potentially suffers from so-called exposure bias: a mismatch between the way the model is trained and the way it is used at inference time. Can we instead design sequence-level loss functions that incorporate inference-time decoding procedures, such as greedy decoding or autoregressive sampling? We show that two natural attempts lead to loss functions that are fundamentally flawed: unbounded below. We further show that these two flawed loss functions are intimately connected: using autoregressive Gumbel tricks, the sampling based loss is the expected greedy loss under Gumbel perturbations. Since the pathology stems from the dependence of the decoded sequence on the model parameters, we analyze the update direction obtained by applying a stop gradient on the sampling procedure, leading to a moment matching direction. While it is not the gradient of any loss function, we prove that it defines a valid descent direction in function space for the autoregressive negative log-likelihood. Despite these theoretical insights, the moment matching direction suffers from high variance. We conclude that teacher forcing may well be ``all you need'' for supervised learning of autoregressive models.
- Abstract(参考訳): 教師付き学習フェーズでは、自己回帰言語モデルは通常、教師の強制によってトークンレベルのクロスエントロピーの和として分解されるトレーニングデータの負のログ類似度を最小限にすることで訓練される。
この目的は単純で効率的だが、いわゆる露出バイアスに悩まされる可能性がある。
代わりに、グレディ復号や自己回帰サンプリングのような推論時復号処理を組み込んだシーケンスレベルの損失関数を設計できるだろうか?
2つの自然な試みは、基本的に欠陥のある損失関数(下記の非有界)をもたらすことを示す。
さらに,これら2つの損失関数が密接に関連していることが示される: 自己回帰的ガンベルトリックを用いて, サンプリングに基づく損失は, ガンベル摂動下での強引な損失である。
モデルパラメータに対する復号シーケンスの依存性から導かれるので、サンプリング手順に停止勾配を適用して得られた更新方向を解析し、モーメントマッチングの方向を導出する。
損失関数の勾配ではないが、自己回帰的な負の対数のような函数空間における有効な降下方向を定義する。
これらの理論的な洞察にもかかわらず、モーメントマッチングの方向は高い分散に悩まされる。
我々は,教師の強制力は,自己回帰モデルの教師付き学習における'all you need'である可能性が高いと結論づける。
関連論文リスト
- Alternate loss functions and regression models that achieve robustness to outliers by modulating the learning rate [5.974437898820796]
ほとんどの実世界のトレーニングデータセットは、データと外れ値で汚染され、大きな予測エラーにつながる。
そこで本稿では,学習のアプローチが,外れ値に敏感な要因によって調節されるような,新たな堅牢性を実現することを提案する。
論文 参考訳(メタデータ) (2026-06-20T14:39:32Z) - Rethinking Entropy Minimization in Test-Time Adaptation for Autoregressive Models [52.18157855348584]
エントロピー最小化(EM)によるテスト時間適応(TTA)は分類作業に有効であることが証明されているが、その応用は理論的に断片化されている。
本研究では,自己回帰モデルに適した厳密なEMの定式化を導出する。
本研究の目的は,トークンレベルの政策勾配損失とトークンレベルのエントロピー損失に自然に分解されることを示し,従来の手法を統一された定式化の部分的実現として再解釈する。
テストベッドとしてWhisper ASRを用いることで、音響ノイズ、アクセント、多言語設定を含む20以上の異なる領域のパフォーマンスを継続的に向上することを示す。
論文 参考訳(メタデータ) (2026-05-05T12:00:06Z) - Quiet Feature Learning in Algorithmic Tasks [1.9249287163937978]
トランスフォーマーベースの言語モデルを10の基本的なアルゴリズムタスクで訓練する。
従来のパワールールスケーリングの傾向から逸脱した損失曲線における顕著な位相遷移を観察する。
モデルの内部表現を探索すると、タスクの損失が減少する前に静かな特徴が学習されることが分かる。
論文 参考訳(メタデータ) (2025-05-06T22:18:50Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳(メタデータ) (2023-12-13T02:11:07Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳(メタデータ) (2023-11-02T16:45:25Z) - Enhancing Noise-Robust Losses for Large-Scale Noisy Data Learning [0.0]
大きな注釈付きデータセットには、必然的にノイズのあるラベルが含まれており、ラベルを覚えやすいようにディープニューラルネットワークをトレーニングする上で大きな課題となる。
ノイズ・ロバスト損失関数はこの問題に対処するための重要な戦略として現れてきたが、過度に適合しないロバスト損失関数を作成することは依然として困難である。
本稿では,ロジットバイアス(logit bias)と表される新しい手法を提案し,ロジットに正しいクラスの位置で実数$epsilon$を付加する。
論文 参考訳(メタデータ) (2023-06-08T18:38:55Z) - Deep Autoregressive Regression [5.257719744958367]
平均二乗誤差損失を用いた回帰の大幅な制限は、ターゲットの規模に対する感度であることを示す。
本稿では,実数値回帰目標,自己回帰回帰に基づく深層学習モデルの学習手法を提案する。
論文 参考訳(メタデータ) (2022-11-14T15:22:20Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳(メタデータ) (2022-06-23T14:16:30Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。