論文の概要: P2N: Reusing Deep Representations for Greater Effective Depth

• arxiv url: http://arxiv.org/abs/2610.25076v1
• Date: Sun, 18 Oct 2026 07:32:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:25:45.715386
• Title: P2N: Reusing Deep Representations for Greater Effective Depth
• Title（参考訳）: P2N: より効果的な深度のための深部表現の再利用
• Abstract要約: 我々はP2N(Previous to Next)を導入し、前回のトークンのディープ表現を再利用する。 この再帰はトークン間の効率的な計算深度を延長し、復号ステップごとに1つのベクトル加算しか導入しない。 Qwen型モデルによる実験では、1.5Bパラメータでは、P2Nはゼロショットと少数ショットの両方のプロンプトでGSM8Kの精度を10パーセント以上向上する。
• 参考スコア（独自算出の注目度）: 17.52320893468073
• License:
• Abstract: Mathematical problem solving and autonomous agents are increasingly important applications of language models, demanding stronger reasoning capabilities. Computational depth is a key resource for such reasoning, but adding model layers increases both training and inference costs, while test-time scaling incurs substantial additional inference computation. We introduce P2N (Previous to Next), which reuses the previous token's deep representations, already available during generation, to increase effective computational depth with negligible decoding overhead. Specifically, P2N adds the previous token's deep hidden state to the current token's shallow representation, allowing subsequent layers to build on previously completed deep computation. This recurrence extends effective computational depth across tokens, while introducing only a single vector addition per decoding step. We train the recurrence using parallel Jacobi updates restricted to a middle-layer core. Experiments with Qwen-style models show that, at 1.5B parameters, P2N improves GSM8K accuracy by over 10 percentage points under both zero-shot and few-shot prompting, with nearly unchanged decoding latency. The benefits also extend to language modeling and average performance on general downstream benchmarks. on general downstream benchmarks.
• Abstract（参考訳）: 数学的問題解決と自律エージェントは、より強力な推論能力を必要とする言語モデルの重要な応用である。 このような推論のための重要なリソースは計算深度だが、モデルレイヤを追加することでトレーニングと推論のコストが増大する。 我々はP2N(Previous to Next)を導入し、前者のトークンの深度表現を再利用し、生成時に既に利用可能であり、無視できないデコードオーバーヘッドで効率的な計算深度を増大させる。 具体的には、P2Nは、現在のトークンの浅い表現に、前のトークンの深い隠蔽状態を追加し、後続のレイヤが以前に完了したディープ計算上に構築できる。 この再帰はトークン間の効率的な計算深度を延長し、復号ステップごとに1つのベクトル加算しか導入しない。 我々は,中間層コアに制限された並列Jacobi更新を用いて再発を訓練する。 Qwenスタイルのモデルによる実験では、1.5Bのパラメータで、P2Nはゼロショットと少数ショットのプロンプトの両方でGSM8Kの精度を10パーセント以上改善し、ほとんど変化のない復号遅延を実現している。 このメリットは、一般的なダウンストリームベンチマークにおける言語モデリングや平均パフォーマンスにも拡張される。 下流のベンチマークで調べました

関連論文リスト

• The importance of tensor handling and implementation of physics-informed DeepONets [0.0]
  物理インフォームドニューラルネットワーク(PINN)は、トレーニング中に支配方程式を強制することにより、大きなラベル付きデータセットの必要性を低減または排除する。 我々は,高次元問題に対するそれらの適用が,トレーニングの計算コストによって制限されていることを示す。 本稿では,ブランチネットワークが入力関数を処理する方法の冗長性を排除し,そのコストを低減したPI-DeepONetアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-10-15T16:22:05Z)
• Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models [75.80275843320511]
  トランスフォーマーのバックボーンを固定したまま、各トークンにより多くの計算を割り当てることで、既存のバックボーンが改善を続けることができるかどうかを検討する。 継続事前学習中に適用されたシーケンス長スケーリング手法であるHidden Decodingを提案する。
  論文  参考訳（メタデータ） (2026-07-09T07:37:59Z)
• AdaPonderLM: Gated Pondering Language Models with Token-Wise Adaptive Depth [23.442686851761298]
  AdaPonderLMは、事前トレーニング中にトークン単位の早期終了を学習する、自己教師型リカレント言語モデルである。 AdaPonderLMは、比較可能な言語モデリングの難易度と競合する下流の精度を維持しながら、推論計算を約10%削減する。
  論文  参考訳（メタデータ） (2026-03-02T14:28:16Z)
• DNATokenizer: A GPU-First Byte-to-Identifier Tokenizer for High-Throughput DNA Language Models [0.0]
  DNATokはGPUファーストのトークン化システムで、汎用文字列処理をバイトルックアップテーブル(LUT)ベースの識別子ストリーミングと、重複したホスト・ツー・デバイス(H2D)/計算パイプラインに置き換える。 DNATokは最適化されたHugging Faceベースラインよりも84-95倍高いエンコーディングスループットを実現し、最大1.9倍高いH2Dスループットを実現している。
  論文  参考訳（メタデータ） (2026-01-09T05:08:17Z)
• DeepPrune: Parallel Scaling without Inter-trace Redundancy [53.62015294143274]
  並列推論トレースの80%以上は、実質的な無駄な計算を代表して、同じ最終回答をもたらす。 動的プルーニングによる効率的な並列スケーリングを実現する新しいフレームワークであるDeepPruneを提案する。 我々の研究は並列推論のための新しい標準を確立し、高性能推論をより効率的にする。
  論文  参考訳（メタデータ） (2025-10-09T17:24:54Z)
• Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
  大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。 LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。 本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:00:40Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Magic Pyramid: Accelerating Inference with Early Exiting and Token Pruning [19.93342734884434]
  本稿では,トークンプルーニングによる幅と深さの計算と,トランスフォーマーモデルによる早期退避を両立させる新しいアイデアであるMagic Pyramid (MP)を提案する。 MPは、入力のサイズに関係なく、2つの一般的なテキスト分類タスクで平均8.06倍のスピードアップを達成することができる。
  論文  参考訳（メタデータ） (2021-10-30T11:07:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。