論文の概要: Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs

• arxiv url: http://arxiv.org/abs/2603.26828v1
• Date: Fri, 27 Mar 2026 03:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.64814
• Title: Arithmetic OOD Failure Unfolds in Stages in Minimal GPTs
• Title（参考訳）: 極小 GPT の段階における算術的 OOD 破壊の展開
• Authors: Seine A. Shintani,
• Abstract要約: 我々は,3桁の一般化がまだ失敗している理由を問うため,全2桁の加算で訓練した最小限のGPTについて検討した。 我々は,算術 OOD の故障をレイアウト,キャリー・セマンティックス,再構成,ラテンテン・残留段階に分解する実験的な方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Arithmetic benchmarks are often reduced to a single held-out score, but that score can conflate qualitatively different failures. We study a controlled minimal GPT trained on exhaustive 2-digit addition, where all local digit transitions are already present in training, and ask why 3-digit generalization still fails. The failure is staged. First, there is a layout barrier: a learned absolute-position model collapses under a pure 3-digit layout shift, and mixed-layout exposure is the only intervention that materially weakens this barrier. Second, after layout repair, the hundreds position behaves like a carry flag rather than a semantic hundreds digit; targeted carry probes reverse the relevant logit margin, whereas a matched extra-data control does not. Third, after carry repair, the main remaining bottleneck is conditional recomposition: high-conditioned tail data outperforms a matched control, high-only data, and tail-only data on all true-3-digit suites, and the same ordering reappears in a larger 2-layer bridge experiment. The residual errors after recomposition are then overwhelmingly tens-only, and a separate 10-seed late-stage study shows that a sign-aware tens repair raises exact match on the hardest thousands-carry suite from 0.664 to 0.822. We therefore provide an experimentally testable decomposition of arithmetic OOD failure into layout, carry-semantics, recomposition, and late tens-residual stages.
• Abstract（参考訳）: 算術的なベンチマークは、しばしば1つのホールトアウトスコアに還元されるが、そのスコアは質的に異なる失敗を説明できる。 我々は,3桁の一般化がまだ失敗している理由を問うため,全2桁の加算で訓練した最小限のGPTについて検討した。 失敗は実行されます。 学習された絶対配置モデルは、純粋な3桁のレイアウトシフトの下で崩壊し、混合レイアウト露光がこの障壁を実質的に弱める唯一の介入である。 第二に、レイアウトの修復後、数百の位置は意味的な数百桁ではなくキャリーフラグのように振る舞う;ターゲットのキャリープローブは関連するロジットマージンを反転させるが、マッチしたデータ外制御はしない。 ハイコンディショニングされたテールデータは、全ての真の3桁のスイート上で一致した制御、ハイオンリーなデータ、テールオンリーなデータより優れており、より大きな2層橋実験において同じ順序で再現れる。 再コンパイル後の残差は圧倒的にテンソルのみであり、別の10列の後期段階の研究では、最も難しい数千台組のテンソル修復が0.664から0.822まで正確に一致していることが示されている。 そこで我々は,算術 OOD の故障を,レイアウト,キャリー・セマンティックス,再構成,ラテンテン・残留段階に分解する実験を行った。

関連論文リスト

• Post-Routing Arithmetic in Llama-3: Last-Token Result Writing and Rotation-Structured Digit Directions [0.4086920237000588]
  我々は,クロストケンルーティングが因果関係のないものになると,算術的な解がどう完結するかを考察する。 その結果, 残留パッチや累積アテンションが層17付近の鋭い境界に局在していることが判明した。 この状態において、桁(-sum)方向の辞書は次の高階の文脈と異なるが、共有低階部分空間内の概写像によりよく関連している。
  論文  参考訳（メタデータ） (2026-02-22T09:49:36Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
  大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。 本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。 ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
  論文  参考訳（メタデータ） (2025-10-18T02:11:50Z)
• Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization [85.50560211492898]
  テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
  論文  参考訳（メタデータ） (2025-09-05T10:03:00Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
  そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。 それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。 次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
  論文  参考訳（メタデータ） (2023-08-13T14:05:24Z)
• Training shallow ReLU networks on noisy data using hinge loss: when do we overfit and is it benign? [12.557493236305211]
  2値分類のための雑音データに対する勾配降下とヒンジ損失を訓練した2層ReLUネットワークにおける良性オーバーフィッティングについて検討した。 我々は, ゼロ損失を達成し, 高い確率テストデータを正しく分類した良性過剰適合, ゼロ損失を達成したが, テストデータが一定値の低い確率で誤分類された過適合, クリーンポイントを劣化点ではなく、ゼロ損失を達成し、また高い確率テストデータを正しく分類した, という3つの異なるトレーニング結果を生み出すクリーンデータのマージンについて, 条件を同定する。
  論文  参考訳（メタデータ） (2023-06-16T16:40:04Z)
• Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
  適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。 視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
  論文  参考訳（メタデータ） (2022-10-28T07:04:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。