論文の概要: Spherical Flows for Sampling Categorical Data

• arxiv url: http://arxiv.org/abs/2605.05629v2
• Date: Fri, 08 May 2026 21:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 16:21:29.383224
• Title: Spherical Flows for Sampling Categorical Data
• Title（参考訳）: カテゴリーデータサンプリングのための球面流れ
• Authors: Jannis Chemseddine, Gregor Kornhardt, Gabriele Steidl,
• Abstract要約: 連続埋め込み空間における離散列生成モデルの学習問題について検討する。 実験では、VMF経路を測地線とユークリッドの代替法と比較した。 vMFとPCサンプリングの組み合わせは、スドゥークと言語モデリングの結果を大幅に改善する。
• 参考スコア（独自算出の注目度）: 6.88204255655161
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We study the problem of learning generative models for discrete sequences in a continuous embedding space. Whereas prior approaches typically operate in Euclidean space or on the probability simplex, we instead work on the sphere $\mathbb S^{d-1}$. There the von Mises-Fisher (vMF) distribution induces a natural noise process and admits a closed-form conditional score. The conditional velocity is in general intractable. Exploiting the radial symmetry of the vMF density we reduce the continuity equation on $\mathbb S^{d-1}$ to a scalar ODE in the cosine similarity, whose unique bounded solution determines the velocity. The marginal velocity and marginal score on $(\mathbb S^{d-1})^L$ both decompose into posterior-weighted tangent sums that differ only by per-token scalar weights. This gives access to both ODE and predictor-corrector (PC) sampling. The posterior is the only learned object, trained by a cross-entropy loss. Experiments compare the vMF path against geodesic and Euclidean alternatives. The combination of vMF and PC sampling significantly improves results on Sudoku and language modeling.
• Abstract（参考訳）: 連続埋め込み空間における離散列生成モデルの学習問題について検討する。 先行のアプローチはユークリッド空間や確率的単純体では通常機能するが、代わりに球面 $\mathbb S^{d-1}$ に作用する。 ここで、von Mises-Fisher (vMF) 分布は自然なノイズ過程を誘導し、閉形式の条件スコアを付与する。 条件速度は一般に難解である。 vMF密度の放射対称性を爆発させることで、コサイン類似性におけるスカラーODEへの$\mathbb S^{d-1}$の連続性方程式を減少させ、その一意の有界解が速度を決定する。 $(\mathbb S^{d-1})^L$ の辺速度と辺のスコアはどちらも、トーケンのスカラーの重みによってのみ異なる後重タンジェント和に分解される。 これにより、ODE と predictor-corrector (PC) の両方のサンプリングへのアクセスが可能になる。 後部は、クロスエントロピー損失によって訓練された唯一の学習対象である。 実験では、VMF経路を測地線とユークリッドの代替法と比較した。 vMFとPCサンプリングの組み合わせは、スドゥークと言語モデリングの結果を大幅に改善する。

関連論文リスト

• Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
  楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。 本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。 $|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
  論文  参考訳（メタデータ） (2025-12-22T10:03:51Z)
• Latent Schrodinger Bridge: Prompting Latent Diffusion for Fast Unpaired Image-to-Image Translation [58.19676004192321]
  ノイズからの画像生成とデータからの逆変換の両方を可能にする拡散モデル (DM) は、強力な未ペア画像対イメージ(I2I)翻訳アルゴリズムにインスピレーションを与えている。 我々は、最小輸送コストの分布間の微分方程式(SDE)であるSchrodinger Bridges (SBs) を用いてこの問題に取り組む。 この観測に触発されて,SB ODE を予め訓練した安定拡散により近似する潜在シュロディンガー橋 (LSB) を提案する。 提案アルゴリズムは,従来のDMのコストをわずかに抑えながら,教師なし環境での競合的I2I翻訳を実現していることを示す。
  論文  参考訳（メタデータ） (2024-11-22T11:24:14Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Nearly $d$-Linear Convergence Bounds for Diffusion Models via Stochastic Localization [40.808942894229325]
  データ次元において線形である第1収束境界を提供する。 拡散モデルは任意の分布を近似するために少なくとも$tilde O(fracd log2(1/delta)varepsilon2)$ stepsを必要とすることを示す。
  論文  参考訳（メタデータ） (2023-08-07T16:01:14Z)
• Compressed and distributed least-squares regression: convergence rates with applications to Federated Learning [11.870656106069447]
  機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。 いくつかの非バイアス圧縮演算子間の収束率の差を強調した。 我々はその結果を連合学習の事例にまで拡張する。
  論文  参考訳（メタデータ） (2023-08-02T18:02:00Z)
• Simulation-free Schr\"odinger bridges via score and flow matching [89.4231207928885]
  シミュレーションフリースコアとフローマッチング([SF]$2$M)を提案する。 本手法は,拡散モデルのトレーニングに使用するスコアマッチング損失と,連続流のトレーニングに使用されるフローマッチング損失の両方を一般化する。 特に、[SF]$2$Mは、高次元の細胞動態を正確にモデル化し、既知の遺伝子制御ネットワークをシミュレートする最初の方法である。
  論文  参考訳（メタデータ） (2023-07-07T15:42:35Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。