論文の概要: The Fair Language Model Paradox

• arxiv url: http://arxiv.org/abs/2410.11985v1
• Date: Tue, 15 Oct 2024 18:47:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-17 13:44:52.148702
• Title: The Fair Language Model Paradox
• Title（参考訳）: 公正言語モデルパラドックス
• Authors: Andrea Pinto, Tomer Galanti, Randall Balestriero,
• Abstract要約: 大規模言語モデル(LLM)は現実世界のアプリケーションに広くデプロイされているが、トークンレベルでのトレーニングダイナミクスについてはほとんど知られていない。 重みの減衰が増加するにつれて、低周波トークンは不均等に劣化することを示す。 これらの無視された低周波トークンは、ほとんどの言語におけるトークン分布の大部分を表わしているため、これは特に関係している。
• 参考スコア（独自算出の注目度）: 19.439996884827448
• License:
• Abstract: Large Language Models (LLMs) are widely deployed in real-world applications, yet little is known about their training dynamics at the token level. Evaluation typically relies on aggregated training loss, measured at the batch level, which overlooks subtle per-token biases arising from (i) varying token-level dynamics and (ii) structural biases introduced by hyperparameters. While weight decay is commonly used to stabilize training, we reveal that it silently introduces performance biases detectable only at the token level. In fact, we empirically show across different dataset sizes, model architectures and sizes ranging from 270M to 3B parameters that as weight decay increases, low-frequency tokens are disproportionately depreciated. This is particularly concerning, as these neglected low-frequency tokens represent the vast majority of the token distribution in most languages, calling for novel regularization techniques that ensure fairness across all available tokens.
• Abstract（参考訳）: 大規模言語モデル(LLM)は現実世界のアプリケーションに広くデプロイされているが、トークンレベルでのトレーニングダイナミクスについてはほとんど知られていない。 評価は通常、バッチレベルで測定された、集計されたトレーニング損失に依存します。 一 異なるトークンレベルのダイナミクス及び (II)ハイパーパラメータによって導入された構造バイアス。 重量減衰はトレーニングを安定させるために一般的に用いられるが、トークンレベルでのみ検出可能な性能バイアスを静かに導入することを明らかにする。 実際、我々は、異なるデータセットサイズ、モデルアーキテクチャ、および270Mから3Bパラメータの範囲で、重量減少が増加するにつれて、低周波トークンは不均等に劣化するということを実証的に示す。 これは特に、これらの無視された低周波トークンは、ほとんどの言語においてトークンの分布の大部分を占めており、利用可能なトークンの公平性を保証する新しい正規化技術を求めているためである。

関連論文リスト

• Mitigating Frequency Bias and Anisotropy in Language Model Pre-Training with Syntactic Smoothing [6.726629754291751]
  本稿では,言語モデルの周波数バイアスを定量化する手法を提案する。 そこで本研究では,事前学習中のトークン表現に対して構文的事前表現を誘導することにより,言語モデルの周波数バイアスを低減する手法を提案する。 このアプローチにより、頻度の低い英語トークンの性能が向上し、異方性も低下する。
  論文  参考訳（メタデータ） (2024-10-15T10:09:57Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は言語モデル(LM)における多くの未理解の欠点と関連している 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 我々は、さらなるトレーニングや最適化を必要とせず、トークン化バイアスを除去する次世代サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Token-Level Fitting Issues of Seq2seq Models [15.81037035729968]
  シーケンス・ツー・シーケンス(seq2seq)モデルは自然言語処理、コンピュータビジョン、その他のディープラーニングタスクに広く使われている。 早期停止でトレーニングされたSeq2seqモデルはトークンレベルでの問題に悩まされていることがわかった。
  論文  参考訳（メタデータ） (2023-05-08T06:40:24Z)
• A Theoretical Understanding of Shallow Vision Transformers: Learning, Generalization, and Sample Complexity [71.11795737362459]
  自己注意モジュールを持つViTは、最近多くのタスクで経験的な成功を収めた。 しかし、理論学習の一般化分析は、ほとんどノイズが多く、解答的である。 本稿では,分類タスクのための浅いViTの理論的解析を行った。
  論文  参考訳（メタデータ） (2023-02-12T22:12:35Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Token-level Adaptive Training for Neural Machine Translation [84.69646428587548]
  異なるトークンが異なる周波数で現れるため、自然言語にはトークンの不均衡現象が存在する。 バニラNMTモデルは、通常、異なる周波数のターゲットトークンに対して、自明な等重の目的を採用する。 低周波トークンは、無視された後に翻訳品質に影響を与える重要な意味情報を運ぶことができる。
  論文  参考訳（メタデータ） (2020-10-09T05:55:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。