論文の概要: Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes

• arxiv url: http://arxiv.org/abs/2610.26974v1
• Date: Sun, 18 Oct 2026 20:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.412173
• Title: Transformers Learn Two Competing Sorting Algorithms, and Only One Length-Generalizes
• Title（参考訳）: トランスフォーマーは2つの競合するソートアルゴリズムを学習し、たった1つの長さの一般化を行う
• Abstract要約: ほぼゼロの損失に訓練された2層変圧器は、2つの機械的に異なる解クラスのうちの1つに収束することを示す。 1つの解クラスは、第2の注意層をソートに使用せず、長さ一般化に失敗する解からなる。 類似した2つの解型現象は見いだされるが、反対の一般化パターンでは、異なる層単位での特殊化によって、2層解は単層解よりも長々しく一般化される。
• 参考スコア（独自算出の注目度）: 46.51744331944128
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that two-layer transformers trained to near-zero loss on a sorting task converge to one of two mechanistically distinct solution classes depending on their initialization. One solution class consists of solutions that do not use the second attention layer to sort, but also fail to length-generalize. The other, which uses both attention layers, length-generalizes perfectly, despite only being trained to sort sequences of a fixed length. By carefully choosing the weight initialization, we demonstrate that we can steer the model toward learning one solution or the other. We identify input types that are rare at the training length but increasingly common at longer sequence lengths as a source of this disparity in length-generalization, and find that layer-wise specialization of the second class of solutions allows them to handle these rare sequences more accurately. In the second class, we discover a mechanism by which the second layer attention can use the contextual information gathered by the first layer attention to reduce its search space. On the related task of finding the minimum of a sequence, we find a similar two solution-type phenomenon, but with the opposite generalization pattern, where a different form of layer-wise specialization causes the two-layer solution to length-generalize worse than the single-attention solution.
• Abstract（参考訳）: ソートタスクにおけるほぼゼロに近い損失を訓練された2層トランスフォーマーは、初期化に応じて2つのメカニカルに異なる解クラスのうちの1つに収束することを示す。 1つの解クラスは、第2の注意層をソートに使用せず、長さ一般化に失敗する解からなる。 もう一つは、両方の注意層を使っているが、固定長のシーケンスをソートするように訓練されているにもかかわらず、長さは完璧に一般化する。 重み初期化を慎重に選択することで、ある解の学習に向けてモデルを操れることを示す。 トレーニング長では珍しいが、長いシーケンス長ではますます一般的になっている入力型を、長さ一般化におけるこの相違の源として同定し、第2級の解の階層的特殊化により、これらの稀なシーケンスをより正確に処理できることを見出した。 第2のクラスでは、第2のレイヤの注意が第1のレイヤの注意によって収集されたコンテキスト情報を用いて検索空間を縮小するメカニズムを発見する。 系列の最小値を求めるタスクでは、類似した2つの解型現象が見つかるが、反対の一般化パターンでは、異なる層的特殊化の形式が2層解を単価の解よりも長大に一般化する。

関連論文リスト

• How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias [48.9399496805422]
  我々は「偶対」と「パリティチェック」と呼ばれる正規言語認識のカテゴリにおける2つの代表的タスクに焦点をあてる。 我々のゴールは、注意層と線形層からなる一層トランスフォーマーが、これらの課題をいかに解決するかを探求することである。
  論文  参考訳（メタデータ） (2025-05-02T00:07:35Z)
• LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding [13.747101397628887]
  大規模言語モデル(LLM)の高速化のためのエンドツーエンドのソリューションを提案する。 また,すべての変圧器層が同じ出口を共有できる早期の出口損失を,早期の層で低落率,後期の層で高落率,早期の出口損失に適用した。 このトレーニングレシピは、モデルに補助的なレイヤやモジュールを追加することなく、初期のレイヤでの早期退避の精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-04-25T16:20:23Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• A generalized quadratic loss for SVM and Deep Neural Networks [0.0]
  我々は、いくつかの監督されたバイナリ分類タスクと回帰タスクを検討するが、SVMとDeep Learningは現在、最高の一般化パフォーマンスを示す。 パターン相関を検討する学習問題に対する一般化二次損失に関する研究[3]を拡張し、パターンがより高密度に分布する入力空間領域に学習問題を集中させる。
  論文  参考訳（メタデータ） (2021-02-15T15:49:08Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。