論文の概要: Spherical Brownian Diffusion for Language Modeling

• arxiv url: http://arxiv.org/abs/2610.35101v1
• Date: Mon, 26 Oct 2026 09:40:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.815567
• Title: Spherical Brownian Diffusion for Language Modeling
• Title（参考訳）: 言語モデリングのための球状ブラウン拡散
• Abstract要約: 連続拡散言語モデルは、連続トークン表現の破損方法と、生成時にその破損を反転させる方法の2つの組み合わせの設計選択を含んでいる。 近年の研究では、測地学とフォン・ミーゼスによる単位球面上の言語生成を探求している。 球面上の正準等方拡散としてブラウン運動を用いた球面ブラウン拡散を導入する。
• 参考スコア（独自算出の注目度）: 12.625201150519024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continuous diffusion language models involve two coupled design choices: how to corrupt continuous token representations and how to invert that corruption at generation time. Recent work has explored language generation on the unit sphere through geodesic and von Mises--Fisher (vMF) paths, raising the question of which forward process to use on this geometry and how much that choice matters relative to inference. We introduce Spherical Brownian Diffusion, using Brownian motion as the canonical isotropic diffusion on the sphere. Its heat semigroup provides a principled forward process, an additive dimension-free noise clock, and an exact ancestral bridge, while a clean-token posterior learned with cross-entropy supports multiple samplers. To separate corruption from inference, we derive high-dimensional approximation rates between Brownian and moment-matched vMF corruption and use this relationship for controlled substitutions. On Sudoku, Brownian and moment-matched vMF give nearly identical results across four samplers and five budgets under otherwise identical settings. In contrast, with the corruption process fixed, sampler choice produces a 25.0-point spread at a sampler budget of 180 calls. Using the ancestral bridge, we split this gain into a memory effect from re-noising the state, present on Sudoku and GSM8K, and a token-selection effect on GSM8K and largest at small budgets. Across reasoning tasks, categorical refinement improves performance, whereas unconditional text generation benefits from stochastic updates that preserve diversity.
• Abstract（参考訳）: 連続拡散言語モデルは、連続トークン表現の破損方法と、生成時にその破損を反転させる方法の2つの組み合わせの設計選択を含んでいる。 近年の研究では、ジオデシックやフォン・ミセス=フィッシャー(英語版) (vMF) パスを通じて単位球上での言語生成を探求し、この幾何学でどの前方プロセスを使うべきか、その選択が推論に対してどの程度重要かという疑問を提起している。 球面上の正準等方拡散としてブラウン運動を用いた球面ブラウン拡散を導入する。 その熱半群は、原則化されたフォワードプロセス、付加的な次元のないノイズクロック、正確な祖先橋を提供し、一方、クロスエントロピーで学習されたクリーントーケン後部は、複数のサンプルを支えている。 推論から汚職を分離するために、ブラウンとモーメントマッチングされたvMFの高次元近似速度を導出し、制御された置換にこの関係を用いる。 Sudokuでは、ブラウンとモーメントマッチングのvMFが4つのサンプルと5つの予算でほぼ同じ結果を与える。 対照的に、汚職プロセスが固定された場合、サンプリング者選択は180コールのサンプリング者予算で25.0ポイントのスプレッドを発生させる。 祖先橋を用いて,このゲインを状態の再ノイズ化による記憶効果,SudokuおよびGSM8Kにおけるトークン選択効果,およびGSM8Kに対するトークン選択効果に分割した。 推論タスク全体にわたって、分類的改善はパフォーマンスを改善するが、非条件テキスト生成は多様性を維持する確率的な更新から恩恵を受ける。

関連論文リスト

• Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
  本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。 ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。 トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
  論文  参考訳（メタデータ） (2026-02-26T11:08:39Z)
• Rectified Diffusion Guidance for Conditional Generation [94.83538269086613]
  CFGの背後にある理論を再検討し、不適切な組合せ係数(textiti.e.)が生成分布を期待的にシフトさせることを厳密に確認する。 提案手法は, 強みを考慮すれば, textbftextitform ソリューションが有効であることを示す。 実世界のデータに関する実証的な証拠は、我々の設計と既存の最先端拡散モデルとの整合性を実証している。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Adversarial Schrödinger Bridge Matching [66.39774923893103]
  反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。 本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。 D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
  論文  参考訳（メタデータ） (2024-05-23T11:29:33Z)
• Frame Interpolation with Consecutive Brownian Bridge Diffusion [21.17973023413981]
  ビデオフレーム補間(VFI)は、拡散に基づく条件付き画像生成問題としてVFIを定式化しようとする。 本稿では,Branian Bridge Diffusionを用いたフレーム補間法を提案する。
  論文  参考訳（メタデータ） (2024-05-09T17:46:22Z)
• Neural Inference of Gaussian Processes for Time Series Data of Quasars [72.79083473275742]
  クエーサースペクトルを完全に記述できる新しいモデルを提案する。 また、$textitNeural Inference$というガウス的プロセスパラメータの推論の新しいメソッドも導入しています。 CDRWモデルとNeural Inferenceの組み合わせはベースラインのDRWとMLEを大きく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T13:01:26Z)
• BBDM: Image-to-image Translation with Brownian Bridge Diffusion Models [50.39417112077254]
  BBDM(Brownian Bridge Diffusion Model)に基づく画像から画像への変換手法を提案する。 我々の知る限りでは、画像から画像への変換のためのブラウン橋拡散プロセスを提案する最初の作品である。
  論文  参考訳（メタデータ） (2022-05-16T13:47:02Z)
• Distributionally Robust Bayesian Optimization with $\varphi$-divergences [45.48814080654241]
  我々は,$varphi$-divergencesにおけるデータシフトに対するロバスト性について考察する。 この設定におけるDRO-BO問題は有限次元最適化問題と等価であり、連続的な文脈でも証明可能な部分線型後悔境界で容易に実装できることを示す。
  論文  参考訳（メタデータ） (2022-03-04T04:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。