論文の概要: Target-Token Asymmetry Can Masquerade As Depth Specialization

• arxiv url: http://arxiv.org/abs/2610.19344v1
• Date: Wed, 14 Oct 2026 00:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.863359
• Title: Target-Token Asymmetry Can Masquerade As Depth Specialization
• Title（参考訳）: ターゲット-トークン非対称性は奥行きのスペシャライゼーションとしてマスクレードできる
• Abstract要約: 目標トークンの違いが深度特殊化の出現を引き起こすことを示す。 クロスコーパス深度効果は、目標-目標混合が報告された後にのみタスク特殊化の解釈をサポートする。
• 参考スコア（独自算出の注目度）: 13.203151672986834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Layer-ablation studies often perturb early or late layers of a language model, compare the damage to prediction on two corpora, and read a larger early-layer effect on one corpus as early-layer specialization for its task. Such a comparison averages over the tokens that each corpus asks the model to predict, and these target tokens differ: math solutions, for example, ask for far more whitespace and numbers than encyclopedia prose. We show that this difference can create the appearance of depth specialization. We split a cross-corpus early--late damage interaction by target-token type and recompute it under a target mixture shared by both corpora. Between GSM8K and Wikitext, a positive interaction replicates across five model instances. In the three fully decomposed models, only whitespace has a positive interaction. Removing whitespace reverses the pooled effect in all three, and matching the full target mixture reverses it in two. The diagnosis holds under position matching, adversarial reassignment of token types, and a continuous readout. The risk can also be anticipated from the tokenizer alone. A screen computed before any model runs places every held-out pair it scored in the region its label predicts, and on the pairs it rates at high or medium risk, removing whitespace reverses every positive pooled estimate. A smaller content-word effect one token ahead follows the share of content targets that the unablated model already predicts. A cross-corpus depth effect therefore supports an interpretation of task specialization only after the target-token mixture is reported, the effect is decomposed by token type, and a mixture-matched summary keeps its sign.
• Abstract（参考訳）: 層アブレーション研究は、言語モデルの早期層や後期層を混乱させ、2つのコーパスの損傷を予測し、1つのコーパスの早期層効果をタスクの早期層特殊化として読み取る。 このような比較は、各コーパスが予測するようモデルに求めるトークンの平均よりも高く、これらのターゲットトークンは、例えば、数学の解では、百科事典の散文よりもはるかに多くの空白と数字を求める。 この違いが深度専門化の出現を引き起こすことを示す。 両コーパスが共有する標的混合条件下で, 初期損傷相互作用をターゲット-トケン型で分割し, 再計算した。 GSM8KとWikitextの間、ポジティブな相互作用は5つのモデルインスタンス間で複製される。 3つの完全に分解されたモデルでは、白色空間のみが正の相互作用を持つ。 ホワイトスペースの取り外しは、プールされた効果を3つすべて逆転させ、完全なターゲット混合物をマッチングすることで2つに逆転させる。 診断は, 位置マッチング, トークン型の再割り当て, 連続的な読み出しを行う。 トークン発行者単独からリスクを予測することもできる。 どんなモデルでも、ラベルが予測する領域で獲得したすべてのホールトアウトペアを実行する前に計算された画面で、高いリスクまたは中リスクで評価される。 先進的なコンテンツワード効果の小さいトークンは、未解決のモデルがすでに予測しているコンテンツターゲットのシェアに続くものだ。 したがって、クロスコーパス深さ効果は、目標-目標混合が報告された後にのみタスク特殊化の解釈をサポートし、その効果はトークンタイプによって分解され、混合マッチング要約はそのサインを保持する。

関連論文リスト

• Decoupling Token Roles in Autoregressive Pretraining [64.8145310915365]
  ノイズの多いトークンを予測しやすくすることは、ターゲットとしてのダメージを減少させるが、コンテキストとして増大させる。 同じ分離は、言語モデルによって生成されたテキストを説明するのに役立つ。
  論文  参考訳（メタデータ） (2026-09-27T09:33:02Z)
• Better, Stronger, Faster, and Broader: Structured All-Mask Prediction for MLLM-Based Segmentation [10.813064862132379]
  STAMPは、強い参照と推論のセグメンテーションと、保存されたマルチモーダル能力と効率的な推論を組み合わせる。 明示的なIDとオプションボックスを持つターゲットリストを生成し、これらのIDを共有のマルチクラスマスク空間にバインドし、1つの非自己回帰パスですべてのターゲットを共同で予測する。 単一の統一されたチェックポイントは、STAMPの参照と推論能力を維持しながら、オープン語彙セマンティクス、インスタンス認識、リモートセンシングされた小さなターゲットセグメンテーションに拡張する。
  論文  参考訳（メタデータ） (2026-08-03T18:42:11Z)
• Prediction Exposes Your Face: Black-box Model Inversion via Prediction Alignment [24.049615035939237]
  モデル反転(MI)攻撃は、その出力から対象モデルのプライベートトレーニングデータを再構成する。 ブラックボックスMI攻撃のための予測画像P2I手法を提案する。 本手法は,攻撃精度を8.5%向上し,データセットCelebAのクエリ数を99%削減する。
  論文  参考訳（メタデータ） (2024-07-11T01:58:35Z)
• TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
  本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。 また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
  論文  参考訳（メタデータ） (2024-05-27T05:45:51Z)
• Object Recognition as Next Token Prediction [99.40793702627396]
  オブジェクト認識を次のトークン予測として提案する。 その考え方は、画像埋め込みからフォームラベルへのテキストトークンの自動回帰予測を行う言語デコーダを適用することである。
  論文  参考訳（メタデータ） (2023-12-04T18:58:40Z)
• Matcher: Segment Anything with One Shot Using All-Purpose Feature Matching [63.88319217738223]
  市販の視覚基礎モデルを用いて様々な知覚課題に対処する新しい知覚パラダイムであるMatcherを提案する。 Matcherは、様々なセグメンテーションタスクにまたがる印象的な一般化パフォーマンスを、すべてトレーニングなしでデモする。 我々の結果は、野生の画像に適用されたMatcherのオープンワールドの一般性と柔軟性をさらに示すものである。
  論文  参考訳（メタデータ） (2023-05-22T17:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。