論文の概要: Stop Jostling: Adaptive Negative Sampling Reduces the Marginalization of Low-Resource Language Tokens by Cross-Entropy Loss

• arxiv url: http://arxiv.org/abs/2601.22439v1
• Date: Fri, 30 Jan 2026 01:17:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.139978
• Title: Stop Jostling: Adaptive Negative Sampling Reduces the Marginalization of Low-Resource Language Tokens by Cross-Entropy Loss
• Title（参考訳）: Stop Jostling: Adaptive Negative Smplingは、クロスエントロピー損失による低リソース言語トークンのマージナル化を低減します。
• Authors: Galim Turumtaev,
• Abstract要約: 余剰余剰化による有害な影響を抑えることにより, 希少なトークンの表現を改善するために, 負のサンプリングが適用可能であることを示す。 この研究は、過剰な余剰化による有害な影響を制限することにより、希少なトークンの表現を改善するために、どのように負のサンプリングを適用できるかを示す最初のものである。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural language models often struggle with low-resource languages due to the limited availability of training data, making tokens from these languages rare in the training set. This paper addresses a specific challenge during training: rare tokens are disproportionately affected by marginalization, which prevents them from learning effectively. We propose a thresholding technique that reduces the impact of this marginalization, allowing rare tokens to benefit from more meaningful alignment. Through experiments with a character-level language model, we demonstrate that this method significantly improves performance on low-resource language validation data. This work is the first to show how negative sampling can be applied to improve the representation of rare tokens by limiting the harmful influence of excessive marginalization, offering a new approach to enhancing language model performance for underrepresented languages.
• Abstract（参考訳）: ニューラルネットワークモデルは、トレーニングデータの可用性が限られているため、低リソース言語と苦労することが多く、トレーニングセットでこれらの言語からのトークンはまれである。 本稿では,希少なトークンが辺縁化によって不均等に影響され,効果的に学習できないという,訓練中の特定の課題に対処する。 本稿では,この限界化の影響を低減し,より有意義なアライメントによるレアトークンのメリットを享受するしきい値化手法を提案する。 文字レベルの言語モデルを用いた実験により,低リソース言語検証データの性能が大幅に向上することが実証された。 本研究は, 疎外化による有害な影響を抑えることで, 希少なトークンの表現を改善するために, ネガティブサンプリングをいかに適用できるかを示す最初の試みである。

関連論文リスト

• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Controlling Language Confusion in Multilingual LLMs [0.0]
  大規模な言語モデルは、意図しない言語で応答が部分的にまたは完全に生成される現象である言語混乱に悩まされることが多い。 本研究では,標準SFTに不要な出力スタイルのペナルティを付加するORPOを適用し,言語に精通した世代を効果的に抑制する。
  論文  参考訳（メタデータ） (2025-05-25T12:15:31Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Problematic Tokens: Tokenizer Bias in Large Language Models [4.7245503050933335]
  本稿では,大きな言語モデルに固有のトークン化プロセスに相違点のルーツを辿る。 具体的には、トークン化プロセスのスピードアップによく使われるトークン化語が、英語以外の言語を不十分に表現する方法を探求する。 我々は,GPT-4oのトークン化機構を解明し,その簡易なトークン処理手法が関連するセキュリティや倫理的問題をいかに増幅するかを説明する。
  論文  参考訳（メタデータ） (2024-06-17T05:13:25Z)
• No Train but Gain: Language Arithmetic for training-free Language Adapters enhancement [59.37775534633868]
  本稿では,学習不要な後処理が可能な言語演算法を提案する。 提案手法の有効性を,MAD-Xに基づく言語間スキームの3つの下流課題に適用した。
  論文  参考訳（メタデータ） (2024-04-24T08:52:40Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• Token-wise Curriculum Learning for Neural Machine Translation [94.93133801641707]
  ニューラルネットワーク翻訳(NMT)への既存のカリキュラム学習アプローチでは、初期のトレーニング段階でトレーニングデータから十分なサンプルをサンプリングする必要がある。 簡便なサンプルを十分に生成する,新しいトークン型カリキュラム学習手法を提案する。 当社のアプローチは,5つの言語ペア,特に低リソース言語において,ベースラインを一貫して上回ることができる。
  論文  参考訳（メタデータ） (2021-03-20T03:57:59Z)
• On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment [59.995385574274785]
  従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。 メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
  論文  参考訳（メタデータ） (2020-10-06T20:48:58Z)
• Leveraging Adversarial Training in Self-Learning for Cross-Lingual Text Classification [52.69730591919885]
  本稿では,ラベル保存型入力摂動の最大損失を最小限に抑える半教師付き対向学習法を提案する。 多様な言語群に対する文書分類と意図分類において,有効性が著しく向上するのを観察する。
  論文  参考訳（メタデータ） (2020-07-29T19:38:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。