Fugu-MT 論文翻訳(概要): The State-Prediction Separation Hypothesis

論文の概要: The State-Prediction Separation Hypothesis

arxiv url: http://arxiv.org/abs/2607.01218v1
Date: Wed, 01 Jul 2026 17:55:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-02 19:56:08.017258
Title: The State-Prediction Separation Hypothesis
Title（参考訳）: 状態予測分離仮説
Abstract要約: トランスフォーマーは同じフォワード計算ストリームを使用して、次のトークンを予測し、将来のトークン予測に有用な状態を格納する。 2つの計算ストリームを使って2つの関数を分離し、様々なスケールで事前学習実験を行うトランスフォーマー変異体を設計する。
参考スコア（独自算出の注目度）: 24.312483891452185
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers use the same forward computation stream to both predict the next token and store useful state for future token predictions. We formulate the \emph{state-prediction separation hypothesis}: disentangling the two roles yields better language modeling performance. We design a Transformer variant that uses two computation streams to separate the two functions, and conduct pretraining experiments across various scales. Our experiments show that state-prediction separation consistently offers better data and compute efficiencies, improving validation loss and outperforming standard Transformers by 2--3 percentage points on average on downstream tasks. We also conduct extensive empirical analysis that rules out potential confounders and demonstrates the fundamental difference in the gradients our design entails.
Abstract（参考訳）: トランスフォーマーは同じフォワード計算ストリームを使用して、次のトークンを予測し、将来のトークン予測に有用な状態を格納する。この2つの役割を分離すると、より優れた言語モデリング性能が得られるという仮説を定式化します。 2つの計算ストリームを使って2つの関数を分離し、様々なスケールで事前学習実験を行うトランスフォーマー変異体を設計する。実験の結果, 状態予測分離により, より優れたデータと計算効率が得られ, 検証損失が向上し, 標準変圧器の性能が2～3ポイント向上することがわかった。私たちはまた、潜在的な共同創設者を除外する広範な実証分析を行い、設計が持つ勾配の根本的な違いを実証しています。

関連論文リスト

Tracing distinguishability through transformer processing with stochastic LayerNorm [0.0]
表現量を与え、類似性を統計的識別可能性に変換する。我々は、LayerNormへのライトタッチ修正により、事前訓練されたトランスフォーマーでこのアイデアを実現した。これらの結果は、トランス計算における機能接地レンズとしての識別可能性を確立する。
論文参考訳（メタデータ） (2026-08-31T12:57:38Z)
Transformer-like Inference from Optimal Control [0.5161531917413708]
第一原理から、同じ予測問題を解く推論アーキテクチャを導出する。 2つのモデルクラスに対して、予測目標を最適制御問題として再構成する。実験により、埋め込み次元が不足すると、変圧器は非マルコフ構造を暗黙的に活用することが明らかになった。
論文参考訳（メタデータ） (2026-05-15T04:42:19Z)
Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration [52.017716672255524]
プレトレーニングトランスにおける不確実性校正は、リスクに敏感なアプリケーションへの信頼性の高い展開において重要である。本稿では,各特徴変換ブロックを確率的写像としてモデル化したトランスフォーマの拡散インスピレーションによる再構成を提案する。本手法は既存の不確実性認識変換器と比較してキャリブレーションと予測精度が優れている。
論文参考訳（メタデータ） (2026-02-09T17:24:47Z)
From Shortcut to Induction Head: How Data Diversity Shapes Algorithm Selection in Transformers [67.02076505996284]
本研究では, 事前学習したデータ分布の選択が, 浅層変圧器を一方の行動に向ける方法について検討する。その結果,事前学習したトランスフォーマーのアルゴリズム的バイアスに光を当て,学習行動のデータ駆動制御に関する概念的ガイドラインを提供することができた。
論文参考訳（メタデータ） (2025-12-21T08:10:26Z)
Diffusion Bridge or Flow Matching? A Unifying Framework and Comparative Analysis [57.614436689939986]
拡散ブリッジとフローマッチングは、任意の分布間の変換において魅力的な経験的性能を示した。我々は,これらのフレームワークを最適制御のレンズを通して再キャストし,拡散橋のコスト関数が低いことを証明した。これらの理論的主張を裏付けるために,潜伏変圧器上に構築された拡散橋の新しい強力なアーキテクチャを提案する。
論文参考訳（メタデータ） (2025-09-29T09:45:22Z)
Understanding Data Influence with Differential Approximation [63.817689230826595]
我々は,Diff-Inと呼ばれる連続学習ステップ間の影響の差を蓄積することにより,サンプルの影響を近似する新しい定式化を導入する。 2次近似を用いることで、これらの差分項を高精度に近似し、既存の手法で必要となるモデル凸性を排除した。 Diff-In は既存の影響推定器に比べて近似誤差が著しく低いことを示す。
論文参考訳（メタデータ） (2025-08-20T11:59:32Z)
Flow-based Conformal Prediction for Multi-dimensional Time Series [9.900139803164372]
本稿では,トランスフォーマーと正規化フローを統合することで,2つの課題に対処する新しい共形予測手法を提案する。トランスフォーマーは時系列の歴史的文脈を符号化し、正規化フローは、ベース分布から符号化された歴史的文脈に基づいて条件付けられた非整合性のスコアの分布への変換を学習する。提案手法は,シミュレーションおよび実世界の時系列データセットを用いた包括的実験により,所望のカバレッジを満足しながら,ベースラインと比較して予測領域が小さいことを実証する。
論文参考訳（メタデータ） (2025-02-08T22:04:05Z)
Comateformer: Combined Attention Transformer for Semantic Sentence Matching [11.746010399185437]
本稿では,トランスフォーマーモデルに基づくコンバインド・アテンション・ネットワークという新しい意味文マッチングモデルを提案する。 Comateformer モデルでは,構成特性を持つ新しい変圧器を用いた準アテンション機構を設計する。提案手法は,双対親和性スコアを計算する際の類似性と相似性(負親和性)の直感に基づく。
論文参考訳（メタデータ） (2024-12-10T06:18:07Z)
Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
論文参考訳（メタデータ） (2024-09-25T20:22:06Z)
Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文参考訳（メタデータ） (2024-06-24T23:00:58Z)
In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文参考訳（メタデータ） (2023-10-08T17:55:33Z)
Transformer Uncertainty Estimation with Hierarchical Stochastic Attention [8.95459272947319]
本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
論文参考訳（メタデータ） (2021-12-27T16:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。