論文の概要: DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections

• arxiv url: http://arxiv.org/abs/2610.19625v1
• Date: Wed, 14 Oct 2026 05:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.985911
• Title: DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
• Title（参考訳）: DAGFormer: 変圧器クロス層接続のグローバルトポロジー予測
• Abstract要約: DAGFormerはモデル全体のルーティングを一度に計画する。 75Mから1Bパラメータの一致したOLMo-2ペアでは、DAGFormer WikiText-2のパープレキシティがバニラトランスフォーマー上で17%から25%向上した。
• 参考スコア（独自算出の注目度）: 21.873941320853763
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose DAGFormer, a Transformer language model whose cross-layer connections are planned by a jointly trained topology predictor. Beyond the residual connections in a standard Transformer, DAGFormer adds direct connections from earlier layers to later ones, and the predictor controls the strength of every connection based on input tokens. Unlike existing cross-layer routing architectures, which set each layer's connections separately, DAGFormer plans the routing of the whole model at once. On matched OLMo-2 pairs from 75M to 1B parameters, DAGFormer lowers WikiText-2 perplexity by 17% to 25% over the vanilla Transformer, and a 1B DAGFormer trained on 5B tokens outperforms the vanilla model trained on 10B. Against four routing baselines with the same data and budget, it reaches the lowest perplexity at 75M, 300M and 1B. The gain carries over to 13 commonsense, science, reading and math evaluation tasks (2.0 to 2.5 points higher mean accuracy at 300M and 1B) and to instruction finetuning (63% to 70% AlpacaEval win rate against the vanilla Transformer, leading every routing baseline), and under structured pruning DAGFormer degrades the least in five of six settings.
• Abstract（参考訳）: DAGFormerを提案する。これはトランスフォーマー言語モデルで、層間接続は共同で訓練されたトポロジ予測器によって計画されている。 標準のTransformerの残コネクションの他に、DAGFormerは、以前のレイヤから後のレイヤへの直接接続を追加し、予測器は入力トークンに基づいてすべてのコネクションの強度を制御する。 各レイヤの接続を個別に設定する既存のクロスレイヤルーティングアーキテクチャとは異なり、DAGFormerはモデル全体のルーティングを同時に計画している。 一致したOLMo-2ペアを75Mから1Bパラメータにすると、DAGFormerはWikiText-2の難易度をバニラ変換器よりも17%から25%低くし、5Bトークンでトレーニングされた1B DAGFormerは10Bでトレーニングされたバニラモデルを上回っている。 同じデータと予算を持つ4つのルーティングベースラインに対して、75M、300M、1Bで最低のパープレキシティに達する。 13のコモンセンス、科学、読書、数学の評価タスク(平均精度が300Mと1Bで2.0から2.5ポイント高い)、命令の微調整(63%から70%のAlpacaEvalがバニラトランスフォーマーに勝利し、各ルーティングベースラインをリード)、構造化プルーニングされたDAGFormerでは6つの設定のうち少なくとも5つで劣化する。

関連論文リスト

• GroundAnything: Reconciling Parallel Decoding with Precise Visual Grounding at Flash Speed [71.05944634852158]
  GroundAnythingはブロックワイズによる正確なローカライゼーションで高速並列デコーディングを再構成する。 30のグラウンドベンチマークで、私たちの自己回帰型であるGroundAnything-VLMは、この技術の新たな全体的な状態を確立します。 エントロピー誘導復号法により、GroundAnythingは、この規模の芸術の先行状態を超越している。
  論文  参考訳（メタデータ） (2026-09-30T12:20:51Z)
• Baseline Shape Decides the Verdict: A Controlled Re-Examination of Ternary Language Models at 60K Parameters [0.0]
  経路3次ブロックがパラメータマッチングされた完全精度変圧器を22%の60Kパラメータで打ち負かすことを示す。 私たちはそれを、1つの固定されたレシピ、セルごとに3つの種、98バイトレベルのラップトップで再実行します。
  論文  参考訳（メタデータ） (2026-09-24T11:24:05Z)
• Hierarchical GNNs for power flow: letting physics shape the hierarchy [0.0]
  階層的な潜在通信は、3つのグリッド間で共有される電力フローモデルの一般化を新しい運用シナリオへと改善する。 我々は、Kron由来のトランスポート、同じアンカーのQuotient構造、および平らなGENCOベースアーキテクチャを比較した。 その結果,研究対象のトポロジ内の運用シナリオにまたがる一般化が示され,学習パラメータのセットがグリッド間で共有されることがわかった。
  論文  参考訳（メタデータ） (2026-09-22T15:41:11Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
  本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。 提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。 パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
  論文  参考訳（メタデータ） (2026-05-26T23:02:38Z)
• Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization [54.749573452394664]
  定式化自体が単純である場合でも、インスタンスデータが大きくなるにつれて精度が低下する。 我々は, 数値データを構造化ファイルに外部化する単純な推論時アプローチであるBINDを用いて, モデルがプロンプトプロンプトからではなく, データをバインドする。 我々は,モデルのみをバインディングのみに微調整することで仮説を検証し,3つの構造的に異なる最適化カテゴリにおいて,エンドツーエンドのSFTおよびRLよりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-20T21:25:41Z)
• FusionCell: Cross-Attentive Fusion of Layout Geometry and Netlist Topology for Standard-Cell Performance Prediction [10.566387281392915]
  FusionCellは、ルーティングされたレイアウト幾何学とネットリストトポロジを入力として扱い、それらを統一されたモデルで明示的にフューズするデュアルモード予測器である。 我々はASAP7 PDKをベースとした7nmのデータセットを構築し、19.5k以上の細胞が149のタイプに分散している。 実験の結果,FusionCellは平均MAPE0.92パーセントの回帰誤差を低減し,ベースラインよりもSpearman/Kendallランキングを改善した。
  論文  参考訳（メタデータ） (2026-05-19T06:46:07Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)
• DeepNet: Scaling Transformers to 1,000 Layers [106.33669415337135]
  トランスフォーマーの残差接続を修正するための新しい正規化関数(DeepNorm)を導入する。 詳細な理論解析により、モデル更新は安定な方法でバウンドできることが示されている。 トランスフォーマーを1,000層まで拡張することに成功したが、これは従来のディープトランスフォーマーよりも1桁も深い。
  論文  参考訳（メタデータ） (2022-03-01T15:36:38Z)
• Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers [57.931830650323]
  本稿では,事前学習および微調整型変圧器によるスケーリングの洞察について述べる。 モデルのサイズだけでなく、モデル形状が下流の微調整に重要であることを示す。 再設計したモデルにより、下流の微調整品質が向上する。
  論文  参考訳（メタデータ） (2021-09-22T12:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。