論文の概要: A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers

• arxiv url: http://arxiv.org/abs/2608.14689v1
• Date: Thu, 06 Aug 2026 21:29:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.965055
• Title: A Reproducibility Study of Partial Residual Ablations in Pre-LN Transformers
• Title（参考訳）: プレLN変圧器部分残差アブレーションの再現性の検討
• Abstract要約: 本稿では,2つの尺度(10Mおよび124Mパラメータ)でトレーニングしたプレLN GPT型変圧器の部分的残差改善について検討する。 注意残差接続、フィードフォワード残差接続、またはその両方を選択的に除去することで、4つのアーキテクチャ構成を比較する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Residual connections are a fundamental component of transformer architectures, yet the roles of the attention and feed-forward residual pathways remain poorly understood when considered independently. This paper presents a reproducibility study of partial residual ablations in Pre-LN GPT-style transformers trained at two scales (10M and 124M parameters). I compare four architectural configurations by selectively removing the attention residual connection, the feed-forward residual connection, or both. Across all experiments, removing the attention residual (FFNOnly) consistently causes deterministic collapse to the No-Residual performance floor. In contrast, removing the feed-forward residual (AttnOnly) exhibits a reproducible recovery effect at 10M scale under a controlled 8-seed deterministic study, while its behavior at 124M remains unresolved because of substantial seed variance. During the investigation, I identified and corrected an experimental measurement confound in runtime gain scaling and document both the failed intermediate reproduction and the subsequent controlled replication. Based on the empirical results, I propose a cross-position routing hypothesis to explain the observed asymmetry while explicitly distinguishing confirmed findings from unresolved questions. To support reproducibility, I release the complete source code, experiment configurations, checkpoints, training logs, and all experimental results, including intermediate non-reproducing runs.
• Abstract（参考訳）: 残差接続はトランスフォーマーアーキテクチャの基本的な構成要素であるが、注意とフィードフォワード残差経路の役割は、独立に考えると理解しにくいままである。 本稿では,2つの尺度 (10M, 124Mパラメータ) で訓練したプレLN GPT型変圧器における部分的残差の再現性について検討する。 注意残差接続、フィードフォワード残差接続、またはその両方を選択的に除去することで、4つのアーキテクチャ構成を比較する。 全ての実験において、注意残差(FFNOnly)を取り除くことは、非残留性能フロアに決定論的崩壊をもたらす。 一方,AttnOnlyの飼料前残基の除去は,約10Mの再現性回復効果を示すが,124Mの挙動は種子の分散が著しいため未解決のままである。 調査中,実行時ゲインスケーリングにおける実験的な測定結果の確認と修正を行い,失敗した中間複製とその後の制御された複製の両方を文書化した。 実験結果に基づいて,観測された非対称性を説明するクロスポジション・ルーティング仮説を提案し,未解決問題と確認された結果を明確に区別する。 再現性をサポートするために、私は完全なソースコード、設定の実験、チェックポイント、ログのトレーニング、そして中間的な非再生実行を含むすべての実験結果をリリースします。

関連論文リスト

• Recovering Physical Parameters from Fragmented Observations via Exact Distributed Spline Merging [0.0]
  本稿では,その導出物から物理パラメータを復元する上での2つの貢献について述べる。 まず、固定基底リッジ回帰統計の確立された付加構造を適用した。 第二に、完全なパイプラインは分散観察と物理パラメータ推論を結合する。
  論文  参考訳（メタデータ） (2026-09-15T03:25:06Z)
• From Concentration to Differentiation and Back: Routing Effective Rank in MoE Reasoning Cohorts [61.695980784491475]
  テストタイムスケーリングは、推論ロールアウトのコホートを生成するが、推論が展開するにつれて内部計算がどのように再編成されるかについて、標準的なラベルのない説明はない。 本稿では,MoEの専門家による類似性から構築したクロスロールアウトグラフのエントロピー有効次元性であるルーティング有効ランクデフを導入する。
  論文  参考訳（メタデータ） (2026-09-06T05:43:22Z)
• Localizing Global Discrepancies: Marginal Contributions and Contextual Anomaly Detection [0.9688708385192246]
  グローバル・グッド・オブ・フィットと不一致の統計は、サンプルが基準分布から出発し、どの観測結果が出発を駆動するかを特定することなく決定することができる。 本研究では, ランダムな統計的文脈にまたがる条件あるいは限界的な寄与を各観測者に割り当てることにより, この局所化問題の枠組みを構築する。 共有ラテント玩具モデルにおいて、コンテキストがイベント自身の機能以外の情報を含むかどうかを問う。
  論文  参考訳（メタデータ） (2026-08-28T14:27:33Z)
• TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
  大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。 しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。 凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。 MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
  論文  参考訳（メタデータ） (2026-08-18T23:40:28Z)
• Scale-Consistent Posterior Dynamics for Diffusion Inverse Problems [16.685352002333225]
  事前訓練された拡散前の後方サンプリングは、一般に難易度成分を有する条件付きスコアによって管理される。 クリーン後部にターゲットが近づいた騒音条件付き経路が連続的なサロゲートSDEを生成することを示す。 FFHQ と ImageNet の100点評価実験により,超解像および分解能の競争再現性を示す。
  論文  参考訳（メタデータ） (2026-08-15T09:38:41Z)
• Causal inference for group-contaminated structured outcomes: observable quotients, lossless reduction and exact randomization inference [0.0]
  制限のない観測モデル X = について検討する。 Y(A)はその観測可能な情報を特徴付ける。 商-忠実復元定理は、完全変換実験には商還元が十分であることを示す。
  論文  参考訳（メタデータ） (2026-08-12T11:39:50Z)
• Is Convergence Inevitable? Tracing Output Homogeneity Back to Base Models [49.46165710676499]
  最初のアライメント段階から意味収束が観察される。 我々は収束を明らかにし増幅することができるが、SFTデータでは導入されないことを発見した。 その結果,LMトレーニングの根底にある目的から,意味収束が自然に生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-08-11T20:47:06Z)
• An Adjoint-Sensitivity Framework for Lost-in-the-Middle Phenomena in Causal Residual Transformers [1.4180331276028662]
  我々は, 因果残差変換器における位置影響に対する随伴感度フレームワークを開発した。 我々は、独立にチェック可能なエネルギー、相関、および局所チャネル境界の下で境界の利点を述べる。
  論文  参考訳（メタデータ） (2026-07-20T08:44:31Z)
• Dual-Prior Guided Null-Space Learning with Mixture-of-Splines for Arbitrary Medical Slice Super-Resolution [28.92727853844715]
  超解像は、任意のスケールで中間スライスを合成することにより異方性の臨床的取得から等方性ボリュームを再構成する。 この不適切な逆問題を、制約のない残差に基づく回帰リスクとして扱うことで、不明瞭な構造を幻覚させる。 本稿では,2つの相補的事前に導かれる制約付き回復過程としてタスクを再構成するDual-Prior Null-space Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-25T07:53:36Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• Causal Discovery with Mixed Latent Confounding via Precision Decomposition [0.0]
  微分可能およびスコアベースDAG学習者は、グローバル潜伏効果を因果エッジと誤解釈することができる。 我々は,これらの役割を分離したモジュール型高精度パイプラインであるtextscDCL-DECORを提案する。
  論文  参考訳（メタデータ） (2025-12-31T08:03:41Z)
• A Sample Efficient Conditional Independence Test in the Presence of Discretization [54.047334792855345]
  離散化されたデータに直接条件付き独立テスト(CI)は、誤った結論につながる可能性がある。 最近の進歩は、観測データをバイナライズすることで、潜伏変数間の適切なCI関係を推測することを目指している。 そこで本研究では,バイナライゼーションプロセスに依存しないサンプル効率のCIテストを提案する。
  論文  参考訳（メタデータ） (2025-06-10T12:41:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。