論文の概要: Stochasticity in Tokenisation Improves Robustness

• arxiv url: http://arxiv.org/abs/2604.16037v1
• Date: Fri, 17 Apr 2026 13:05:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.926747
• Title: Stochasticity in Tokenisation Improves Robustness
• Title（参考訳）: トークン化における確率性はロバスト性を改善する
• Authors: Sophie Steger, Rui Li, Sofiane Ennadir, Anya Sims, Arno Solin, Franz Pernkopf, Martin Trapp,
• Abstract要約: 入力のトークン化の摂動における脆弱性は、決定論的正準トークン化で訓練されたモデルは、敵の攻撃に対して脆弱であることを示している。 近年の研究では、トークン化は摂動に敏感でない内部表現をもたらすことが示唆されている。
• 参考スコア（独自算出の注目度）: 24.37716137082741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread adoption of large language models (LLMs) has increased concerns about their robustness. Vulnerabilities in perturbations of tokenisation of the input indicate that models trained with a deterministic canonical tokenisation can be brittle to adversarial attacks. Recent studies suggest that stochastic tokenisation can deliver internal representations that are less sensitive to perturbations. In this paper, we analyse how stochastic tokenisations affect robustness to adversarial attacks and random perturbations. We systematically study this over a range of learning regimes (pre-training, supervised fine-tuning, and in-context learning), data sets, and model architectures. We show that pre-training and fine-tuning with uniformly sampled stochastic tokenisations improve robustness to random and adversarial perturbations. Evaluating on uniformly sampled non-canonical tokenisations reduces the accuracy of a canonically trained Llama-1b model by 29.8%. We find that training with stochastic tokenisation preserves accuracy without increasing inference cost.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及により、その堅牢性に対する懸念が高まっている。 入力のトークン化の摂動における脆弱性は、決定論的正準トークン化で訓練されたモデルは、敵の攻撃に対して脆弱であることを示している。 近年の研究では、確率的トークン化は摂動に敏感でない内部表現をもたらすことが示唆されている。 本稿では,確率的トークン化が敵攻撃やランダムな摂動に対する堅牢性に与える影響を解析する。 我々は,学習体制(事前学習,教師付き微調整,コンテキスト内学習),データセット,モデルアーキテクチャなど,さまざまな分野において,これを体系的に研究する。 本研究では,一様にサンプリングされた確率的トークンを用いた事前学習と微調整により,ランダムな摂動や対向的な摂動に頑健さが向上することを示す。 均一サンプリングされた非正準トークン化の評価は、正準訓練されたLlama-1bモデルの精度を29.8%削減する。 確率的トークン化によるトレーニングは、推論コストを増大させることなく正確性を維持する。

関連論文リスト

• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
  敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。 ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。 実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-09-07T12:02:00Z)
• The curse of overparametrization in adversarial training: Precise analysis of robust generalization for random features regression [34.35440701530876]
  逆向きに訓練されたランダムな特徴モデルでは、高い過度なパラメータ化が堅牢な一般化を損なう可能性があることを示す。 提案理論は, 強靭性に対する過度パラメータ化の非自明な効果を明らかにし, 高過度パラメータ化が強靭性一般化を損なうことを示唆している。
  論文  参考訳（メタデータ） (2022-01-13T18:57:30Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)
• Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
  最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。 その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
  論文  参考訳（メタデータ） (2020-06-07T06:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。