論文の概要: Mask-Based Priors Are More Persistent than Query-Key Initializations
- arxiv url: http://arxiv.org/abs/2608.00418v1
- Date: Sat, 01 Aug 2026 03:39:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:56:33.065279
- Title: Mask-Based Priors Are More Persistent than Query-Key Initializations
- Title（参考訳）: Maskベースのプリミティブはクエリキーの初期化よりも永続性が高い
- Abstract要約: トランスフォーマーは単にブール外挿タスクのデータを持たないだけでなく、体系的に間違った方法で一般化する。
目に見えない領域の一般化に関する最近の研究は、観測された領域に適合しているにもかかわらず、トランスフォーマーは真のターゲット関数ではなく、より単純な最小度補間器に従って外挿されることがしばしば示されている。
我々は、この障害モードが明示的な構造的先行を注意して修正できるかどうかを問う。
既存の構造化初期化手法は、要求された注意パターンを近似したクエリとキープロジェクションを選択することで、トランスフォーマー誘導バイアスを間接的に変化させる。
- 参考スコア（独自算出の注目度）: 28.724712992189676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers do not merely lack data on some Boolean extrapolation tasks; they generalize in a systematically wrong way. Recent work on generalization on the unseen has shown that, despite fitting the observed domain, Transformers often extrapolate according to a simpler minimum-degree interpolator rather than the true target function. These Boolean tasks are not practical applications, but controlled stress tests for understanding Transformer inductive bias. We ask whether this failure mode can be corrected by injecting explicit structural priors into attention. Existing structured-initialization methods alter Transformer inductive bias indirectly, by choosing query and key projections whose similarity scores approximate a desired attention pattern. However, we find that when applied to Boolean extrapolation, these QK-based priors can be rapidly overwritten during training and fail to change the learned extrapolation rule. We propose a simpler alternative: initialize the additive attention mask directly. Unlike standard hard masks used for causality or locality attention, our mask is a finite, learnable attention-logit bias initialized from task-level interaction structure. This separates the structural prior from content-dependent attention scores, allowing it to persist throughout optimization. On Boolean reasoning tasks, mask-based initialization achieves near-perfect extrapolation where vanilla and QK-initialized Transformers remain trapped by the default inductive bias. The same mechanism also improves low-data arithmetic performance and remains competitive on vision and language benchmarks. These results show that attention masks can serve not only as architectural constraints, but as a simple substrate for encoding persistent inductive bias in Transformers.
- Abstract（参考訳）: トランスフォーマーは単にブール外挿タスクのデータを持たないだけでなく、体系的に間違った方法で一般化する。
目に見えない領域の一般化に関する最近の研究は、観測された領域に適合しているにもかかわらず、トランスフォーマーは真のターゲット関数ではなく、より単純な最小度補間器に従って外挿されることがしばしば示されている。
これらのブールタスクは実用的ではなく、Transformer帰納バイアスを理解するための制御されたストレステストである。
我々は、この障害モードが明示的な構造的先行を注意して修正できるかどうかを問う。
既存の構造化初期化手法は、要求された注意パターンを近似したクエリとキープロジェクションを選択することで、トランスフォーマー誘導バイアスを間接的に変化させる。
しかし、ブール外挿に適用すると、これらのQKベースの先行情報はトレーニング中に急速に上書きされ、学習された外挿規則を変更できないことが分かる。
追加注意マスクを直接初期化するという,よりシンプルな方法を提案する。
因果性や局所性に着目した標準的なハードマスクとは異なり、我々のマスクはタスクレベルの相互作用構造から初期化された有限で学習可能なアテンション-ログバイアスである。
これにより、構造的事前をコンテンツ依存のアテンションスコアから切り離し、最適化全体を通して継続することができる。
ブール推論タスクでは、マスクベースの初期化は、バニラとQK初期化トランスフォーマーがデフォルトの帰納バイアスによって閉じ込められているほぼ完全な外挿を実現する。
同じメカニズムは低データの演算性能も向上し、ビジョンや言語ベンチマークでは競争力を維持している。
これらの結果から,アテンションマスクはアーキテクチャ上の制約だけでなく,トランスフォーマーの永続的帰納バイアスを符号化するための単純な基盤としても機能することが示された。
関連論文リスト
- Induction Heads Interpolate N-Grams [29.939177622666858]
誘導ヘッドは、変換器におけるコンテキスト内学習の基盤となると考えられる注意回路である。
我々は秩序$k$マルコフ連鎖で訓練された変圧器について検討し、2つの相補的平滑化機構を同定した。
この結果から,従来の統計スムース化による誘導ヘッドの機械論的解釈可能性の橋渡し,変換器は単に数えるのではなく,文脈内推定を正規化することを学ぶことが明らかとなった。
論文 参考訳（メタデータ） (2026-07-02T22:19:26Z) - Residual Connections and the Causal Shift: Uncovering a Structural Misalignment in Transformers [9.617245548268437]
大規模言語モデル(LLM)は、自動回帰変換器で実装された次世代の予測で訓練される。
残余接続は現在のトークンとアクティベーションを結び付け、監督は次のトークンをターゲットとします。
固定層介入や学習可能なゲーティング機構として実装された残差減衰に基づく軽量残差経路緩和法を提案する。
論文 参考訳（メタデータ） (2026-02-16T14:04:42Z) - CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。
静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。
LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
論文 参考訳（メタデータ） (2026-02-04T00:12:30Z) - From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。
その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
論文 参考訳（メタデータ） (2025-12-21T08:10:26Z) - Provable In-Context Learning of Nonlinear Regression with Transformers [66.99048542127768]
In-context Learning (ICL) は、パラメータを更新することなくタスク固有のプロンプトを使用して見えないタスクを実行する能力である。
最近の研究はICLの背後にあるトレーニングのダイナミクスを積極的に探求しており、その多くは比較的単純なタスクに重点を置いている。
本稿では、変換器が文脈内学習能力をいかに獲得するかを明らかにすることを目的として、より複雑な非線形回帰タスクについて検討する。
論文 参考訳（メタデータ） (2025-07-28T00:09:28Z) - Token Masking Improves Transformer-Based Text Classification [0.40964539027092917]
本稿では,入力トークンを確率 p で特別な [MASK] トークンにランダムに置き換える,シンプルだが理論的に動機づけられたトークンマスキング正規化を提案する。
言語識別と感情分析の実験では、標準正規化技術よりも一貫した改善が見られた。
論文 参考訳（メタデータ） (2025-05-16T23:06:11Z) - Trained Transformers Learn Linear Models In-Context [39.56636898650966]
トランスフォーマーとしての注意に基づくニューラルネットワークは、意図的学習(ICL)を示す顕著な能力を示した
線形回帰問題のランダムな例に対する変圧器の訓練において、これらのモデルの予測は通常の正方形の非線形性を模倣することを示した。
論文 参考訳（メタデータ） (2023-06-16T15:50:03Z) - Incorporating Residual and Normalization Layers into Analysis of Masked
Language Models [29.828669678974983]
我々は、トランスフォーマーの分析範囲を、単に注目パターンから注目ブロック全体まで拡張する。
トランスフォーマーをベースとしたマスキング言語モデルの解析により,トークンとトークンの相互作用が従来想定されていた中間表現にほとんど影響を与えないことが分かる。
論文 参考訳（メタデータ） (2021-09-15T08:32:20Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳（メタデータ） (2021-06-03T05:56:57Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z) - Robustness Verification for Transformers [165.25112192811764]
我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。
提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。
これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
論文 参考訳（メタデータ） (2020-02-16T17:16:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。