Fugu-MT 論文翻訳(概要): Recirculation

論文の概要: Recirculation

arxiv url: http://arxiv.org/abs/2608.17981v1
Date: Tue, 18 Aug 2026 16:30:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.40478
Title: Recirculation
Title（参考訳）: 循環
Abstract要約: 既成の基礎モデルに対する推論時アーキテクチャ拡張について述べる。当社のアプローチでは、プリフィルフェーズでのシリアル処理は必要だが、生成時に追加のレイテンシは発生しない。オフザシェルフベースラインとは対照的に、適応的再循環は著しく向上する。
参考スコア（独自算出の注目度）: 10.742684685694869
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We describe an inference-time architectural enhancement for off-the-shelf foundation models that markedly reduces perplexity and boosts accuracy across generation and reasoning tasks. Our approach incurs essentially no additional latency during generation, though it requires serial processing in the prefill phase. Motivated by the fundamental limitation that state updates in feedforward transformers are bounded by model depth, our technique, recirculation, introduces a specific form of recurrence that allows the model to act as a dynamical system and track belief states. We distinguish this technique from chain-of-thought computation---which is better reserved for complex inferences rather than basic state tracking---as well as from popular depth-recurrence techniques (looping) and the costly training of recurrent transformers. We also propose and evaluate an adaptive variant of recirculation which requires only light tuning of hyperparameters while freezing the original model weights. Relative to the off-the-shelf baseline, adaptive recirculation achieves remarkable gains on the Gemma3 family, including a 23% reduction in perplexity on a suite of datasets, a 21% increase in accuracy on GSM8k, and reliable improvements in accuracy on other downstream tasks. Our training-free approach succeeds by leveraging the model itself to inform architectural modifications, suggesting a route to architectural evolution guided by a trained network's properties rather than forced, arbitrary design choices.
Abstract（参考訳）: 既成の基盤モデルに対する推論時アーキテクチャの強化について述べる。当社のアプローチでは、プリフィルフェーズでのシリアル処理は必要だが、生成時に追加のレイテンシは発生しない。フィードフォワード変換器における状態更新がモデル深度によって制限されるという基本的な制限により、我々の手法は再循環し、モデルが動的システムとして機能し、信念状態を追跡するための特定の形態の反復を導入する。我々は,この手法を,基本的な状態追跡よりも複雑な推論に配慮した連鎖計算と,一般的な深度再帰法(ループ法)や再帰変圧器のコストのかかる訓練とを区別する。また,本研究では,原モデルの重量を凍結しながら,過度パラメータの光チューニングのみを必要とする再循環の適応的変種を提案し,評価する。市販のベースラインとは対照的に、適応的再循環はGemma3ファミリにおいて、データセットのスイートでのパープレキシティの23%削減、GSM8kでの精度の21%向上、他の下流タスクでの精度の信頼性向上など、大幅に向上する。トレーニングなしのアプローチでは、モデル自体を利用してアーキテクチャの変更を通知し、任意の設計選択を強制するのではなく、トレーニングされたネットワークのプロパティによって導かれるアーキテクチャ進化への道筋を示唆しています。

関連論文リスト

Resource-Efficient Pruning for Transformer via Low-Rank Importance Estimation [20.409069904706346]
REP-LIEは、微調整の過程で資源効率の高い刈り取りを可能にする新しいアプローチである。重要度推定における固有のランダム性に対処するため、安定性スコアを導入する。中規模エンコーダモデルと大規模生成モデル(LLaMA-7BとMistral-7B)の両方の実験は、REP-LIEが既存のアプローチと比較して競争性能を保っていることを示した。
論文参考訳（メタデータ） (2026-08-25T11:36:01Z)
Adaptive Recurrent Message Passing for Test Time Computing on Graphs [80.56829418752513]
繰り返しグラフモデルでは,グラフデータとアーキテクチャ設計の固有のミスマッチを克服できることを示す。本稿では,アダプティブ・リカレントグラフモデルであるAdaRを提案する。
論文参考訳（メタデータ） (2026-06-21T12:14:11Z)
Unlocking Feature Learning in Gated Delta Networks at Scale [52.705562336559446]
大規模言語モデルの訓練とスケーリングは膨大な計算資源を必要とする。我々はGated Delta Networkのスケーリングルールを導出する。言語モデル事前学習の実験により、我々の構成が安定した学習速度転送を可能にすることが確認された。
論文参考訳（メタデータ） (2026-06-02T08:45:24Z)
Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
論文参考訳（メタデータ） (2026-04-21T06:27:18Z)
Adaptive Domain Models: Bayesian Evolution, Warm Rotation, and Principled Training for Geometric and Neuromorphic AI [0.0]
本稿では,3つの事前結果に基づいて,代替的なトレーニングアーキテクチャを開発する。本稿では,一般目的モデルの潜在事前構造をADMトレーニングシステムを介して抽出する機構であるベイズ蒸留を導入する。デプロイには、更新されたモデルがサービスを中断することなくアクティブな推論経路に遷移する運用パターンであるウォームローテーションを導入する。
論文参考訳（メタデータ） (2026-03-18T12:36:19Z)
Efficient Real-Time Adaptation of ROMs for Unsteady Flows Using Data Assimilation [7.958594167693376]
パラメータ化還元次数モデル(ROM)の効率的な再学習戦略を提案する。この戦略は計算時間の一部を必要としながら、完全再訓練に匹敵する精度を得る。力学系を考えると、アウト・オブ・サンプル予測における誤差の主な原因は、潜在多様体の歪みに起因することが示される。
論文参考訳（メタデータ） (2026-02-26T16:43:28Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures [14.551812310439004]
モデルベースアーキテクチャでは,各インスタンスの計測領域におけるデータの一貫性を一致させるために,トレーニングされていないフォワードモデル残差ブロックを導入する。提案手法は,パラメータ感受性が低く,追加データを必要としない統一解を提供し,前方モデルの同時適用と1パスの再構成を可能にする。
論文参考訳（メタデータ） (2024-03-07T19:02:13Z)
Symplectic Autoencoders for Model Reduction of Hamiltonian Systems [0.0]
長期の数値安定性を確保するためには,システムに関連するシンプレクティックな構造を維持することが重要である。本稿では,次元削減のための確立されたツールであるオートエンコーダの精神の中で,新しいニューラルネットワークアーキテクチャを提案する。ネットワークのトレーニングには,非標準勾配降下法を適用した。
論文参考訳（メタデータ） (2023-12-15T18:20:25Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。