Fugu-MT 論文翻訳(概要): Quantitative Clustering in Mean-Field Transformer Models

論文の概要: Quantitative Clustering in Mean-Field Transformer Models

arxiv url: http://arxiv.org/abs/2504.14697v2
Date: Wed, 30 Apr 2025 13:35:39 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:52.71581
Title: Quantitative Clustering in Mean-Field Transformer Models
Title（参考訳）: 平均場変圧器モデルにおける定量クラスタリング
Authors: Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet,
Abstract要約: ディープトランスモデルによるトークンの進化は相互作用する粒子系としてモデル化できる。平均場変圧器モデルの長時間クラスタリングについて検討する。
参考スコア（独自算出の注目度）: 32.46389492080837
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The evolution of tokens through a deep transformer models can be modeled as an interacting particle system that has been shown to exhibit an asymptotic clustering behavior akin to the synchronization phenomenon in Kuramoto models. In this work, we investigate the long-time clustering of mean-field transformer models. More precisely, we establish exponential rates of contraction to a Dirac point mass for any suitably regular initialization under some assumptions on the parameters of transformer models, any suitably regular mean-field initialization synchronizes exponentially fast with some quantitative rates.
Abstract（参考訳）: ディープトランスモデルによるトークンの進化は、倉本モデルにおける同期現象に似た漸近的クラスタリング挙動を示すことが示されている相互作用粒子系としてモデル化することができる。本研究では,平均場変圧器モデルの長時間クラスタリングについて検討する。より正確には、変圧器モデルのパラメータに関するいくつかの仮定の下で、適当な正則な初期化に対して、ディラック点質量に対する指数関数的な縮約速度を確立するが、任意の正則な平均場初期化は、いくつかの定量的な速度で指数関数的に高速に同期する。

関連論文リスト

Scalable Equilibrium Sampling with Sequential Boltzmann Generators [60.00515282300297]
ボルツマン生成フレームワークを拡張し、2つの重要な改良を加えた逐次ボルツマン生成装置を導入する。 1つ目は、全原子カルテシアン座標上で直接動作する高効率な非等価トランスフォーマーベース正規化フローである。これまでのボルツマン発生器では, トリ, テトラ, ヘキサペプチドのカルテシアン座標における最初の平衡サンプリングを実証した。
論文参考訳（メタデータ） (2025-02-25T18:59:13Z)
Transformers and Their Roles as Time Series Foundation Models [14.61139607588868]
我々は,変換器を時系列基礎モデルとして解析し,近似と一般化機能に着目した。任意の数の共変量を持つ自己回帰モデルにMOIRAIが自動的に適合できることを実証する。実験は、時系列基礎モデルとしてのトランスフォーマーの有効性を強調し、我々の理論的な結果を支持する。
論文参考訳（メタデータ） (2025-02-05T17:18:55Z)
Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文参考訳（メタデータ） (2024-09-05T18:14:22Z)
Probabilistic Topic Modelling with Transformer Representations [0.9999629695552195]
トランスフォーマー表現型ニューラルトピックモデル(TNTM)を提案する。このアプローチは、完全に確率論的モデリングを伴うトランスフォーマー埋め込みに基づくトピックの強力で汎用的な概念を統一する。実験の結果,提案手法は組込みコヒーレンスの観点から,様々な最先端手法に匹敵する結果が得られることがわかった。
論文参考訳（メタデータ） (2024-03-06T14:27:29Z)
Synthetic location trajectory generation using categorical diffusion models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文参考訳（メタデータ） (2024-02-19T15:57:39Z)
Investigating Recurrent Transformers with Dynamic Halt [64.862738244735]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。提案手法を拡張・結合する新しい手法を提案し,検討する。
論文参考訳（メタデータ） (2024-02-01T19:47:31Z)
Quantum Effects on the Synchronization Dynamics of the Kuramoto Model [62.997667081978825]
量子揺らぎは同期の出現を妨げるが、完全に抑制するわけではない。モデルパラメータへの依存を強調して,臨界結合の解析式を導出する。
論文参考訳（メタデータ） (2023-06-16T16:41:16Z)
Modeling the space-time correlation of pulsed twin beams [68.8204255655161]
パラメトリックダウンコンバージョンによって生成される絡み合ったツインビームは、画像指向アプリケーションで好まれるソースである。本研究では,時間消費数値シミュレーションと非現実的な平面波ポンプ理論のギャップを埋めることを目的とした半解析モデルを提案する。
論文参考訳（メタデータ） (2023-01-18T11:29:49Z)
Simulating Heisenberg Interactions in the Ising Model with Strong Drive Fields [0.0]
離散時間間隔で大きな駆動場を持つイジングモデルは、実効的なXXZ-ハイゼンベルクモデルによって再現される。駆動場の特定の向きについて、XXX-ハイゼンベルクモデルの力学を再現する。
論文参考訳（メタデータ） (2022-07-19T17:52:31Z)
Topographic VAEs learn Equivariant Capsules [84.33745072274942]
本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
論文参考訳（メタデータ） (2021-09-03T09:25:57Z)
Emergent fractal phase in energy stratified random models [0.0]
長距離確率行列モデルの運動ホッピング項における偏相関が局在特性に及ぼす影響について検討した。完全に相関した症例から逸脱すると,システム内の非エルゴディックな非局在化が生じる。
論文参考訳（メタデータ） (2021-06-07T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。