論文の概要: Token-Level Uncertainty-Aware Objective for Language Model Post-Training

• arxiv url: http://arxiv.org/abs/2503.16511v1
• Date: Sat, 15 Mar 2025 00:32:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-30 07:31:57.638044
• Title: Token-Level Uncertainty-Aware Objective for Language Model Post-Training
• Title（参考訳）: 学習後の言語モデルのためのToken-Level Uncertainty-Aware Objective
• Authors: Tingkai Liu, Ari S. Benjamin, Anthony M. Zador,
• Abstract要約: 我々は,因果言語モデリングにおけるトークンレベルの不確実性を,(1)マスクされた最大可能性(MLE),(2)自己蒸留の2種類の訓練目標に結びつける。 マスクMLEは, 難治性の軽減に有効であり, トークンレベルの自動カリキュラム学習技術として有効であることを示す。 しかし、マスクされたMLEは過度に適合する傾向があり、アウト・オブ・ディストリビューションタスクのパフォーマンスを向上または維持するために自己蒸留正則化が必要である。
• 参考スコア（独自算出の注目度）: 2.5671111123644894
• License:
• Abstract: In the current work, we connect token-level uncertainty in causal language modeling to two types of training objectives: 1) masked maximum likelihood (MLE), 2) self-distillation. We show that masked MLE is effective in reducing epistemic uncertainty, and serve as an effective token-level automatic curriculum learning technique. However, masked MLE is prone to overfitting and requires self-distillation regularization to improve or maintain performance on out-of-distribution tasks. We demonstrate significant performance gain via the proposed training objective - combined masked MLE and self-distillation - across multiple architectures (Gemma, LLaMA, Phi) and datasets (Alpaca, ShareGPT, GSM8K), mitigating overfitting while maintaining adaptability during post-training. Our findings suggest that uncertainty-aware training provides an effective mechanism for enhancing language model training.
• Abstract（参考訳）: 現在の研究では、因果言語モデリングにおけるトークンレベルの不確実性を2種類の訓練目標に結びつける。 1)マスク付最大可能性(MLE) 2)自己蒸留。 マスクMLEは, 難治性の軽減に有効であり, トークンレベルの自動カリキュラム学習技術として有効であることを示す。 しかし、マスクされたMLEは過度に適合する傾向があり、アウト・オブ・ディストリビューションタスクのパフォーマンスを向上または維持するために自己蒸留正則化が必要である。 複数のアーキテクチャ(Gemma, LLaMA, Phi)とデータセット(Alpaca, ShareGPT, GSM8K)にまたがるマスク付きMLEと自己蒸留を組み合わせることで、トレーニング後の適応性を保ちながらオーバーフィッティングを緩和する。 本研究は,不確実性を考慮した学習が,言語モデルトレーニングの強化に有効なメカニズムであることを示唆している。

関連論文リスト

• Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
  言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。 本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。 POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2024-06-20T08:12:49Z)
• Efficient Adversarial Training in LLMs with Continuous Attacks [99.5882845458567]
  大規模言語モデル(LLM)は、安全ガードレールをバイパスできる敵攻撃に対して脆弱である。 本稿では,2つの損失からなる高速対向訓練アルゴリズム(C-AdvUL)を提案する。 C-AdvIPOは、対向的に堅牢なアライメントのためのユーティリティデータを必要としない、対向型のIPOである。
  論文  参考訳（メタデータ） (2024-05-24T14:20:09Z)
• MEND: Meta dEmonstratioN Distillation for Efficient and Effective In-Context Learning [9.271196993624944]
  大規模言語モデル(LLM)は、与えられたテスト入力と少数のインプット・アウトプットペア(デモ)を同時に予測する。 既存の解は、長い実演をコンパクトなベクトルに蒸留しようとする。 本稿では,メタdEmonstratioN蒸留(MEND)について述べる。そこでは,言語モデルが,新しい下流タスクを再学習することなく,任意の長い実演をベクトルに蒸留することを学ぶ。
  論文  参考訳（メタデータ） (2024-03-11T17:03:04Z)
• Pre-training Language Model as a Multi-perspective Course Learner [103.17674402415582]
  本研究では,サンプル効率のよい事前学習のためのマルチパースペクティブ・コース・ラーニング(MCL)手法を提案する。 本研究では,3つの自己超越コースが,「綱引き」力学の固有の欠陥を軽減するように設計されている。 本手法は,GLUEおよびSQuAD 2.0ベンチマークにおいて,ELECTRAの平均性能をそれぞれ2.8%,絶対点を3.2%向上させる。
  論文  参考訳（メタデータ） (2023-05-06T09:02:10Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)
• Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
  本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。 実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。 我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
  論文  参考訳（メタデータ） (2020-04-27T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。