論文の概要: Decoupling Token Roles in Autoregressive Pretraining

• arxiv url: http://arxiv.org/abs/2609.33405v1
• Date: Sun, 27 Sep 2026 09:33:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:20:15.647419
• Title: Decoupling Token Roles in Autoregressive Pretraining
• Title（参考訳）: 自己回帰的事前訓練におけるトークンの役割の分離
• Abstract要約: ノイズの多いトークンを予測しやすくすることは、ターゲットとしてのダメージを減少させるが、コンテキストとして増大させる。 同じ分離は、言語モデルによって生成されたテキストを説明するのに役立つ。
• 参考スコア（独自算出の注目度）: 64.8145310915365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive pretraining increasingly draws on heterogeneous data, making it important to understand how a model learns from an individual token. The next-token prediction objective naturally identifies a token's contribution with its own loss. However, each token is not only a prediction target but also context for what follows. Using controlled corruption, we decouple these two roles and find a reversal: making a noisy token easier to predict reduces its damage as a target but increases it as context. The same decoupling helps explain text generated by language models: generation selects each token by its fit to the prefix, while its role as context is never tested against an independently determined continuation, because that continuation is generated to fit it. At known corrupted positions, acting through the context can reduce damage that removing the token's own loss does not. Understanding and controlling what a model learns from a token therefore requires decoupling its roles.
• Abstract（参考訳）: 自己回帰事前学習は、不均一なデータにますます引き寄せ、モデルが個々のトークンからどのように学習するかを理解することが重要である。 次に注意すべき予測対象は、トークンの損失に対する貢献を自然に識別するものである。 しかし、それぞれのトークンは予測対象であるだけでなく、次に示すことのコンテキストでもある。 ノイズの多いトークンを予測しやすくすることは、ターゲットとしてのダメージを減らすが、コンテキストとして増大させる。 同じ分離は、言語モデルによって生成されたテキストの説明に役立つ:生成はプレフィックスに適合して各トークンを選択するが、コンテクストとしてのその役割は、それに合わせて連続が生成されるため、独立した決定された継続に対して決してテストされない。 既知の破損した位置では、コンテキストを通して行動することで、トークンの損失を除去することができないようなダメージを軽減できる。 モデルがトークンから何を学ぶかを理解し、制御するには、その役割を分離する必要がある。

関連論文リスト

• When Tokenization is Secretly Output Supervision [10.546694596577057]
  言語モデルのトークン化は、入力前処理決定としてデフォルトで扱われる。 自己回帰モデルでは、トークン化器の粒度は、1つの前方通過でモデルが解決しなければならないものを決定する。 これは学習問題の難しさとモデルの内部に現れる表現の両方に影響を与える。
  論文  参考訳（メタデータ） (2026-09-01T15:16:19Z)
• Forget What Matters, Keep the Rest: Selective Unlearning of Informative Tokens [9.36751822006717]
  トークンレベルの未学習正規化器として,Entropy-Guided Token Weighting (ETW)を提案する。 ETWは、予測分布のエントロピーをトークン情報性のプロキシとして利用する。 情報トークンはエントロピーが高い傾向を示す一方、構造トークンはエントロピーが低い傾向を示す。
  論文  参考訳（メタデータ） (2026-04-20T04:20:29Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
  ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。 文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。 右列桁のグルーピングは、大数の算術を+33%向上させる。
  論文  参考訳（メタデータ） (2025-06-23T18:02:26Z)
• Causal Estimation of Tokenisation Bias [58.20086589761273]
  我々は、訓練されたモデルが対応する文字に割り当てる確率に対して、トークンの語彙にサブワードを含むか否かを定量化する。 トークン化は、スケール、語彙、トークンサプライヤにわたるモデルのアウトプットに一貫して影響を与えます。 特に、小モデルの語彙におけるサブワードの存在は、文字の確率を最大17倍に向上させる可能性がある。
  論文  参考訳（メタデータ） (2025-06-03T17:59:47Z)
• ExpShield: Safeguarding Web Text from Unauthorized Crawling and Language Modeling Exploitation [17.71790411163849]
  そこで本研究では,非知覚的テキスト摂動によるサンプル固有の記憶を緩和する,能動的自己防衛機構であるExpShiledを提案する。 当社のアプローチでは、オリジナルの可読性を維持しながら外部とのコラボレーションは必要ありません。 プライバシーのバックドアがあっても、MIA(Community Inference Attack)のAUCは0.95から0.55に低下し、インスタンスエクスプロイトは0に近づいた。
  論文  参考訳（メタデータ） (2024-12-30T17:52:02Z)
• An Analysis and Mitigation of the Reversal Curse [70.13419502543915]
  最近の研究は、大型言語モデル(LLM)で注目すべき現象を観測している。 逆の呪文は、$a$と$b$の2つのエンティティを扱う場合、LLMは$aRb$,'という形式でシーケンスを処理するのに優れるが、$bR-1a$'を処理する場合の課題に直面することである。
  論文  参考訳（メタデータ） (2023-11-13T17:01:12Z)
• You Only Forward Once: Prediction and Rationalization in A Single Forward Pass [10.998983921416533]
  教師なしの合理性抽出は、合理性のないモデル予測をサポートするために、簡潔で連続的なテキストスニペットを抽出することを目的としている。 これまでの研究では、RNP(Rationalizing Neural Prediction)フレームワークと呼ばれる2段階のフレームワークを使用してきた。 そこで我々は,論理学の緩和版から派生した,単相一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一
  論文  参考訳（メタデータ） (2023-11-04T08:04:28Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。