論文の概要: Rebalancing Token Importance in Language Models with TF-IDF Weighted Cross-Entropy Loss

• arxiv url: http://arxiv.org/abs/2609.11029v1
• Date: Thu, 10 Sep 2026 03:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.203762
• Title: Rebalancing Token Importance in Language Models with TF-IDF Weighted Cross-Entropy Loss
• Title（参考訳）: TF-IDF重み付きクロスエントロピー損失を持つ言語モデルにおけるトークンの重要性の再バランス
• Abstract要約: 大きな言語モデルは、通常、均一なトークン重み付けの下で訓練され、頻繁かつ低情報トークンが学習を支配します。 TF-IDF統計を用いてトークンレベルのコントリビューションを再スケールする情報重み付きクロスエントロピー損失を提案する。
• 参考スコア（独自算出の注目度）: 6.456113896946724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are typically trained under uniform token weighting, which allows frequent and low-information tokens to dominate learning and can increase the tendency to memorize surface-level text spans. To address this, we present an information-weighted cross-entropy loss that rescales token-level contributions using TF-IDF statistics, emphasizing semantically informative tokens while down-weighting ubiquitous ones. Experiments on five decoder-only LLMs ranging from 1.1B to 13B parameters show consistent reductions in memorized substring length while preserving perplexity and downstream task performance. Under LoRA fine-tuning, TF-IDF reduces average substring memorization length by 14% across all five models. Under full-weight fine-tuning on TinyLLaMA 1.1B, the reduction reaches 58%. Our approach is architecture-agnostic and can be incorporated into existing training pipelines with less than 3% computational overhead, offering a lightweight and principled way to mitigate memorization without disrupting standard training dynamics.
• Abstract（参考訳）: 大規模言語モデルは一般に均一なトークン重み付けの下で訓練され、頻繁で低情報なトークンが学習を支配し、表面レベルのテキストスパンを記憶する傾向を高めることができる。 これを解決するために、TF-IDF統計を用いてトークンレベルのコントリビューションを再スケールする情報重み付きクロスエントロピー損失を提案する。 1.1B から 13B までの5つのデコーダのみの LLM 実験では、パープレキシティとダウンストリームタスク性能を保ちながら、記憶されたサブストリング長が一貫した減少を示す。 LoRAの微調整の下では、TF-IDFは5つのモデルで平均的なサブストリング記憶長を14%削減する。 TinyLLaMA 1.1Bのフルウェイト微調整により、削減率は58%に達した。 私たちのアプローチはアーキテクチャに依存しないため、3%未満の計算オーバーヘッドで既存のトレーニングパイプラインに組み込むことが可能です。

関連論文リスト

• Predictive Batch Scheduling: Accelerating Language Model Training Through Loss-Aware Sample Prioritization [0.33842793760651557]
  予測バッチスケジューリング(PBS)は,新しいトレーニング最適化手法である。 PBSはバッチ構築時に高損失サンプルを優先する。 予測器は4つの単純な特徴のみを用いて実際の損失と0.44の相関を達成している。
  論文  参考訳（メタデータ） (2026-02-19T04:15:39Z)
• Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
  Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。 FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。 推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
  論文  参考訳（メタデータ） (2026-02-12T18:54:57Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• MLP Memory: A Retriever-Pretrained Memory for Large Language Models [39.890098399493986]
  NLPRAG Memoryは、明示的なドキュメントアクセスなしに検索パターンを内部化する軽量パラメトリックモジュールである。 我々のアーキテクチャは、このトレーニング済みメモリとトランスフォーマーデコーダを単純な確率で統合し、WikiText-103とWebデータセットでそれぞれ17.5%と24.1%のスケーリングゲインを得る。
  論文  参考訳（メタデータ） (2025-08-03T16:40:53Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective [0.0]
  本稿では,テキスト生成のための微調整処理を最適化する新しい損失関数Power-Law Loss Decay (PDL)を提案する。 PDLは、標準のクロスエントロピー損失における各トークンの寄与を再重み付けする。
  論文  参考訳（メタデータ） (2025-05-22T16:59:26Z)
• The Fair Language Model Paradox [19.439996884827448]
  大規模言語モデル(LLM)は現実世界のアプリケーションに広くデプロイされているが、トークンレベルでのトレーニングダイナミクスについてはほとんど知られていない。 重みの減衰が増加するにつれて、低周波トークンは不均等に劣化することを示す。 これらの無視された低周波トークンは、ほとんどの言語におけるトークン分布の大部分を表わしているため、これは特に関係している。
  論文  参考訳（メタデータ） (2024-10-15T18:47:12Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Breaking Language Barriers: Cross-Lingual Continual Pre-Training at Scale [18.015805664219673]
  本稿では,既存のLLMから連続的に事前学習(CPT)を行うことにより,大規模言語モデル構築のための代替手法を検討する。 CPTはより高速に収束し、拡張性のある方法で重要なリソースを節約できる。 スケールでの転送の有効性は、トレーニング期間と言語特性に影響され、データ再生に頑健である。
  論文  参考訳（メタデータ） (2024-07-02T10:06:41Z)
• BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models [77.0501668780182]
  Retrieval augmentationは、大規模言語モデルにおける多くの重要な問題に対処する。 検索拡張言語モデル(LM)の実行は遅く、大量の検索されたテキストを処理するため、スケールが困難である。 1ビットベクトルを用いて各トークンを前処理するバイナリトークン表現(BTR)を導入する。
  論文  参考訳（メタデータ） (2023-10-02T16:48:47Z)
• Meta-Learning Online Adaptation of Language Models [88.8947656843812]
  大規模言語モデルは、そのパラメータにおける驚くほど広い世界の知識を符号化する。 しかし、静的言語モデルの知識は時代遅れになり、モデルの効果的な「シェルフライフ」が制限される。
  論文  参考訳（メタデータ） (2023-05-24T11:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。