論文の概要: When Is Noise Response Universal? Tokenization as the Hidden Variable in Language Models

• arxiv url: http://arxiv.org/abs/2608.26319v1
• Date: Wed, 26 Aug 2026 18:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.158301
• Title: When Is Noise Response Universal? Tokenization as the Hidden Variable in Language Models
• Title（参考訳）: 騒音応答は普遍的か? 言語モデルにおける隠れ変数としてのトークン化
• Abstract要約: 文埋め込みとデコーダのみのLLMの両方を含む,ニューラルネットワーク間の劣化率について検討した。 単語レベルのノイズの下では、全く異なるアーキテクチャを持つモデルは、ほぼ同じ曲線に沿って減少し、文字レベルのノイズの下では分離される。 この発見とその基盤となるメカニズムは、ノイズに対するモデルの頑健さをノイズ評価なしで予測する実用的な手段を提供する。
• 参考スコア（独自算出の注目度）: 3.6243102296545846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of textual neural models often degrades when their inputs are corrupted by noise such as typos, OCR errors, or dropped words. We study the degradation rate across neural models, both sentence embeddings and decoder-only LLMs, and find that how consistent it is depends on the scale of the noise: under word-level noise, models with very different architectures decline along nearly the same curve, while under character-level noise they separate. We further identify the determining factor to be the training objective, not the architecture: eight encoders spanning six pretraining paradigms are scattered initially, and collapse onto a common curve after a short contrastive training recipe. We trace the word/character split to tokenization: a single character edit forces the tokenizer to re-segment the surrounding word, disturbing the token sequence far more than dropping a whole word does. This finding and its underlying mechanism provide a practical means to predict a model's robustness to noise without any noisy evaluation, and to install robustness at a chosen noise scale through noise-augmented training.
• Abstract（参考訳）: テキストニューラルモデルの性能は、入力がタイプミス、OCRエラー、あるいはドロップワードなどのノイズによって劣化した場合に劣化することが多い。 文埋め込みとデコーダのみのLLMの両方で、ニューラルネットワーク間の劣化率について検討し、単語レベルのノイズの下では、全く異なるアーキテクチャを持つモデルは、ほぼ同じ曲線に沿って減少し、文字レベルのノイズ下では分離される。 6つの事前学習パラダイムにまたがる8つのエンコーダは、最初は散在し、短い対照的なトレーニングレシピの後、共通の曲線に崩壊する。 一つの文字を編集すると、トークン作成者が周囲の単語を再分割し、トークンのシーケンスが全単語をドロップするよりはるかに邪魔になる。 この発見とその基盤となるメカニズムは、ノイズ評価を伴わずにモデルのノイズに対する堅牢性を予測し、ノイズ強化トレーニングを通じて選択されたノイズスケールにロバスト性を設置する実用的な手段を提供する。

関連論文リスト

• Exact learning of quantum noise with tensor networks [0.0]
  本稿では,量子エラー補正症候群と論理観測データから直接ノイズモデルを学習する変分フレームワークを提案する。 我々は,この目的がアドホックではなく,情報理論の最小論理誤差率を十分に表現可能な雑音アンサッツであることを示す。
  論文  参考訳（メタデータ） (2026-08-31T18:01:16Z)
• From Denoising to Refining: A Corrective Framework for Vision-Language Diffusion Model [72.73512218682187]
  ReDiff(Refining-enhanced diffusion framework)は、モデルに自身のエラーを特定し、修正するように教えるフレームワークである。 まず、合成エラーを修正するためにモデルをトレーニングすることで、基礎的なリビジョン機能を具現化し、次に、新しいオンライン自己補正ループを実装します。 この誤り駆動学習は、モデルに既存の出力を再検討し、洗練する重要な能力を与え、エラーカスケードを効果的に破壊する。
  論文  参考訳（メタデータ） (2025-10-22T06:58:55Z)
• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• Understanding the Effect of Noise in LLM Training Data with Algorithmic Chains of Thought [0.0]
  思考の連鎖におけるノイズが,高度に制御された環境下でのタスクパフォーマンスに与える影響について検討する。 本研究では,CoTトレース処理後に適用される局所的な雑音と,トレース処理時にエラーを伝播する大域的なノイズであるテクトダイナミックノイズの2種類を定義した。 微調整されたモデルでは、高レベルの静的ノイズに対して非常に頑健であるが、低レベルの動的ノイズに対してかなり苦労している。
  論文  参考訳（メタデータ） (2024-02-06T13:59:56Z)
• An Investigation of Noise in Morphological Inflection [21.411766936034]
  本研究は, パイプライン内で発生するノイズの種類を, 真の教師なし形態素パラダイムの完成のために検討する。 異なる種類のノイズが複数の最先端インフレクションモデルに与える影響を比較した。 本稿では,文字レベルのマスク付き言語モデリング(CMLM)の事前学習手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:14:34Z)
• Latent Class-Conditional Noise Model [54.56899309997246]
  本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。 次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。 提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
  論文  参考訳（メタデータ） (2023-02-19T15:24:37Z)
• Sources of Noise in Dialogue and How to Deal with Them [63.02707014103651]
  トレーニング対話システムは、ノイズの多いトレーニング例や予期しないユーザ入力を扱うことが多い。 その頻度にもかかわらず、現在、対話ノイズの正確な調査が欠けている。 本稿では,対話システムで発生する雑音の分類を初めて構築することによって,このギャップを解消する。
  論文  参考訳（メタデータ） (2022-12-06T04:36:32Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• Understanding Model Robustness to User-generated Noisy Texts [2.958690090551675]
  NLPでは、スペルエラーなどの自然発生ノイズによってモデル性能が劣化することが多い。 本稿では,文法的誤り訂正コーパスから統計的に誤りをモデル化する。
  論文  参考訳（メタデータ） (2021-10-14T14:54:52Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。