Fugu-MT 論文翻訳(概要): Write Back the $Δ$: Revisiting the Same Tokens with Fresh Representations

論文の概要: Write Back the $Δ$: Revisiting the Same Tokens with Fresh Representations

arxiv url: http://arxiv.org/abs/2609.32457v1
Date: Sat, 26 Sep 2026 10:42:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-07 09:00:35.118748
Title: Write Back the $Δ$: Revisiting the Same Tokens with Fresh Representations
Title（参考訳）: $Δ$: Fresh Representationsで同じトークンを再考する
Abstract要約: ReFluxは学習可能なフィードバックグラフで、インクリメントの経路を動的に選択し構成する。同期ReFluxは10の言語モデリングコーパスのパープレキシティを一貫して低減し、精度を2.1-2.3ポイント向上させる。ストリーミング ReFluxは、ベースモデルのバックボーン1x理論FLOPを保ちながら、これらの利益のほとんどを保持している。
参考スコア（独自算出の注目度）: 45.577882225926935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformers process information strictly forward through depth, preventing deeper computation from revisiting and refining earlier representations. To augment the standard forward pass, existing approaches either re-execute depth, incurring additional computation, or modify the residual stream using predefined directions, limiting their instance-level adaptation. Recently, inference-time feedback offers a direct mechanism for recycling endogenously produced computation by writing deeper residual states back to earlier layers, yet what should be fed back remains unclear. We argue that the depth increment Delta, capturing newly accumulated computation between two layers, provides a more effective, composable, and scalable feedback signal than the full state. Building on this observation, we introduce ReFlux, a learnable feedback graph that dynamically selects and composes increment-carrying routes. ReFlux supports synchronous feedback to the same token and streaming feedback to subsequent tokens. Extensive experiments across various models, corpora, and benchmarks show that synchronous ReFlux consistently reduces perplexity across ten language-modeling corpora, and improves accuracy by 2.1-2.3 points, with gains reaching 4.7 points on multi-hop reasoning. Streaming ReFlux further retains most of these gains while preserving the base model's 1x theoretical backbone FLOPs. These results establish ReFlux as an efficient paradigm for unlocking the latent computational potential of LLMs, allowing them to revisit the same tokens with fresh representations. Code implementation can be found at https://github.com/gooogleshanghai/reflux.
Abstract（参考訳）: トランスフォーマーは、ディープ・インフォメーションを通じて情報を厳格に前方に処理し、より深い計算が以前の表現を再検討し、精錬することを防ぐ。標準のフォワードパスを強化するために、既存のアプローチは深さを再実行し、追加の計算を発生させるか、事前定義された方向を使って残留ストリームを変更し、インスタンスレベルの適応を制限する。近年、推論時間フィードバックは、より深い残差状態を以前の層に書き戻すことで、不均一に生成した計算をリサイクルする直接的なメカニズムを提供するが、何が返されるべきかははっきりしない。 2つの層間で新たに蓄積された計算をキャプチャするディープインクリメントデルタは、完全な状態よりも効率的で構成可能でスケーラブルなフィードバック信号を提供する、と我々は主張する。この観測に基づいて、インクリメント・キャリング経路を動的に選択・構成する学習可能なフィードバックグラフであるReFluxを導入する。 ReFluxは、同じトークンへの同期フィードバックと、その後のトークンへのストリーミングフィードバックをサポートする。様々なモデル、コーパス、ベンチマークにわたる大規模な実験により、同期ReFluxは10の言語モデリングコーパスのパープレキシティを一貫して低減し、精度を2.1-2.3ポイント改善し、マルチホップ推論では4.7ポイントまで向上した。 Streaming ReFluxは、ベースモデルの理論的バックボーンFLOPを1倍に保ちながら、これらの利益のほとんどを維持している。これらの結果は、LLMの潜在的計算ポテンシャルを解放するための効率的なパラダイムとしてReFluxを確立し、新しい表現で同じトークンを再考することを可能にする。コードの実装はhttps://github.com/gooogleshanghai/reflux.comで見ることができる。

関連論文リスト

Shallow Queries, Mature Values: Depth-Asynchronous Self-Speculation for Looped Transformers [51.96830872563455]
Looped Transformerは、再帰的な深さにわたって共有ブロックを再利用し、自動回帰デコーディングを高価にする。自己投機的デコーダは、早期の深さでドラフトし、完全な深さで検証することで、このコストを削減する。本稿では,Depth-Asynchronous Self-Speculation (DAS)を導入し,検証された表現の深さからドラフト計算の深さを分離する。
論文参考訳（メタデータ） (2026-09-28T08:04:19Z)
ReTrace: Rejected-Trajectory Conditioning for Speculative Decoding [46.17292752074153]
本稿では,前回のラウンドから削除された接尾辞に対して,各ドラフトブロックを条件付けするReTraceを紹介する。 ReTraceは、DFlashバックボーン上で、平均受信長とエンドツーエンドの復号速度を継続的に改善する。
論文参考訳（メタデータ） (2026-08-30T12:20:54Z)
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
論文参考訳（メタデータ） (2026-05-26T10:10:26Z)
LoopUS: Recasting Pretrained LLMs into Looped Latent Refinement Models [35.78769938627291]
我々は、標準の事前学習 LLM をループ化アーキテクチャに変換する後トレーニングフレームワークである textbfLooped Depth Up-Scaling (LoopUS) を導入する。 LoopUS は事前訓練された LLM をエンコーダ、ループ推論ブロック、デコーダに再キャストする。これらのメカニズムは、標準的な非ループモデルからループ形式に変換し、計算ボトルネックと表現崩壊の両方に対して安定化する。
論文参考訳（メタデータ） (2026-05-10T11:05:20Z)
ResPrune: Text-Conditioned Subspace Reconstruction for Visual Token Pruning in Large Vision-Language Models [59.94664910790462]
ResPruneは、大規模な視覚言語モデルのためのトレーニング不要のビジュアルトークンプルーニングフレームワークである。視覚トークンのコンパクトだが情報に富むサブセットを選択する。これは、計算、メモリ消費、推論遅延を効果的に削減する。
論文参考訳（メタデータ） (2026-03-22T07:44:45Z)
CyclicReflex: Improving Large Reasoning Models via Cyclical Reflection Token Scheduling [16.151066326284376]
大規模推論モデル(LRM)は、複雑な問題解決のための多段階推論を実行するためにテスト時間スケーリングを利用する。我々は、リフレクショントークンを「リソース」として扱い、リソース割り当ての問題を導入する。本稿では,リフレクショントークンのロジットを動的に変調するデコード戦略である循環反射トークンスケジューリング(CyclicReflex)を提案する。
論文参考訳（メタデータ） (2025-06-04T03:43:38Z)
Contextual Feedback Loops: Amplifying Deep Reasoning with Iterative Top-Down Feedback [2.404163279345609]
提案するEmphContextual Feedback Loops (CFLs) は,従来のレイヤにトップダウンコンテキストを再注入して反復的な改善を行う軽量なメカニズムである。 CFLはフィードフォワードとフィードバック駆動推論を統合することで、トップレベルのアウトプットが低レベルの機能を継続的に洗練します。 CIFAR-10、ImageNet-1k、SpeechCommands、GLUE SST-2などのタスクで一貫したゲインを得る。
論文参考訳（メタデータ） (2024-12-23T17:36:51Z)
Deep Feedback Inverse Problem Solver [141.26041463617963]
逆問題に対する効率的で効果的で汎用的なアプローチを提案する。我々は、フォワードプロセスが提供するフィードバック信号を活用し、反復的な更新モデルを学ぶ。私たちのアプローチは前もってのプロセスに制限がなく、事前の知識も必要ありません。
論文参考訳（メタデータ） (2021-01-19T16:49:06Z)
RepPoints V2: Verification Meets Regression for Object Detection [65.120827759348]
本稿ではRepPointsのローカライズ予測に検証タスクを導入する。 RepPoints v2は、オリジナルのRepPointsよりも約2.0mAPの一貫性のある改善を提供する。提案手法は、インスタンスセグメンテーションのようなアプリケーションと同様に、他のオブジェクト検出フレームワークをより高めることができることを示す。
論文参考訳（メタデータ） (2020-07-16T17:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。