論文の概要: Support Topology and Gradient Mixing in Sinkhorn Layers
- arxiv url: http://arxiv.org/abs/2609.07954v1
- Date: Mon, 07 Sep 2026 20:18:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.510134
- Title: Support Topology and Gradient Mixing in Sinkhorn Layers
- Title(参考訳): シンクホーン層における支持トポロジーとグラディエント混合
- Abstract要約: 各行列サイクルが列ポテンシャル摂動変調定数上で行確率演算子を誘導することを示す。
伴なスコアと限界源項を導出し、同質およびソース駆動のテールコタンガントを束縛するために、ドブルシン収縮とマイノライゼーションを用いる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse Sinkhorn layers use a fixed support graph to restrict transport between tokens. How does this graph control gradient propagation through the scaling iterations. We develop a fixed-support calculus showing that each row-column cycle induces a row-stochastic operator on column-potential perturbations modulo constants. Its transpose propagates zero-mass reverse-mode cotangents. The finite-cycle operator uses two distinct half-step transport plans; at a balanced fixed point it reduces to a two-step walk determined by a single plan. We derive the accompanying score and marginal source terms and use Dobrushin contraction and minorization to bound homogeneous and source-driven tail cotangents. Our main result characterizes when support and marginals guarantee one-step contraction uniformly over finite scores: every feasible face of the transportation polytope must have pairwise two-hop column overlap. Otherwise, suitable score directions make the contraction coefficient arbitrarily close to one. We extend this analysis to ordered support schedules and derive certificates for partition heat-bath layers, coordinate sweeps, forced shared mass, and register-augmented supports. These results provide mathematical criteria for support design in differentiable transport layers, with guarantees restricted to the fixed-support quotient-gradient component.
- Abstract(参考訳): スパースシンクホーン層はトークン間の転送を制限するために固定サポートグラフを使用する。
このグラフは、スケーリングイテレーションを通じてグラデーションの伝播をどうやって制御しますか?
本研究では,各列列周期が列ポテンシャル摂動変調定数上で行確率演算子を誘導することを示す固定支援計算法を開発した。
その転移はゼロ質量逆モードコタンガントを伝播する。
有限サイクル作用素は2つの異なる半ステップの輸送計画を使用し、バランスの取れた固定点において、単一の計画によって決定される2ステップの歩行に還元される。
伴なスコアと限界源項を導出し、同質およびソース駆動のテールコタンガントを束縛するために、ドブルシン収縮とマイノライゼーションを用いる。
我々の主な成果は、支持と限界が有限点以上一段の収縮を保証するときの特徴である:輸送ポリトープのすべての実現可能な面は、対角に二本柱の重なりを持つ必要がある。
そうでなければ、適切なスコア方向は収縮係数を任意に1に近づける。
この分析は、注文されたサポートスケジュールに拡張され、ヒートバス層分割、コーディネートスイープ、強制共有マス、レジスタ拡張サポートのための証明書が導出されます。
これらの結果から, 可変搬送層における支持設計の数学的基準が得られ, 保証は固定サポートされた商次成分に限定される。
関連論文リスト
- CyclOT: Learning Quadratic Optimal Transport Maps via Synchronized Forward-Backward Interpolants [20.064386074670605]
本稿では,学習した地図が前方および後方の変位補間を誘導する双方向ニューラルネットワークフレームワークを提案する。
スイスロール, MNIST, CelebA, シングルセルデータ, 胸部X線画像を用いた実験は, 終端忠実度, 輸送コストの逆転, 整合性, 誘導インバータの形状を評価する。
論文 参考訳(メタデータ) (2026-09-12T11:31:53Z) - Nonlocality-induced critical-length hierarchy from non-Hermitian competition [48.9823527611878]
2つの連結鎖からなる短距離系において、競合は臨界長法則$N_csimln D$に導かれる。
ここでは、長距離ホッピングがこの臨界挙動を根本的に再編成し、異なるスケーリング法則の階層を生成することを示す。
この結果は,プログラム可能なトポ誘電回路,フォトニック格子,デジタル量子シミュレータでテスト可能なプラットフォーム非依存のフレームワークを提供する。
論文 参考訳(メタデータ) (2026-08-03T18:00:18Z) - CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning [47.406985340436925]
CoCurveはキャリブレーションのみの、微調整なしの手法で、注意とFFNのユニットを共同で刺激する。
これは1つの予算付き二次プログラムに還元され、ラベル、微調整、リカバリを伴わず、共有された注目の下で1ショットで解決される。
論文 参考訳(メタデータ) (2026-07-20T05:27:57Z) - Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data [3.7437735326653883]
本稿では,分離可能なデータに対する完全バッチ線形分類における速度制御中間事例について検討する。
指数損失を重み付けしたメモリレス安定アニール型スムーズドサイン降下に対して, 正規化繰り返しは, 凸バーグ型バリアの最小化に収束することが証明された。
論文 参考訳(メタデータ) (2026-07-07T08:55:35Z) - Sector-dominant graph-local drivers for path-window barrier Hamiltonians on the Boolean hypercube [0.0]
ブールハイパーキューブの有限サイズ断熱処理について検討した。
モノトーングレーコードの代表と関連するセクター/パス座標から構築したグラフローカルドライバを使用する。
コード、有限証明書、CSVファイル、検証ログ、再生スクリプトを提供し、有限サイズのクレームをトレース可能にする。
論文 参考訳(メタデータ) (2026-04-28T10:54:42Z) - Neural Networks as Local-to-Global Computations [0.0]
エッジ上の制約マップとして各計算ステップを符号化することにより,任意のReLUニューラルネットワークからシーフを構築する。
フォワードパスとは異なり、熱方程式は層間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロンを可能にする。
我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。
論文 参考訳(メタデータ) (2026-03-16T05:23:31Z) - Approaching the scaling limit of transport through lattices with dephasing [0.0]
一般化マルコフ的退化と緩和を伴う格子の定常状態方程式について検討する。
スケーリングの限界を達成するための効率的なソリューションを提案する。
マルコフの緩和、騒音、運転には幅広い問題がある。
論文 参考訳(メタデータ) (2025-10-05T06:51:40Z) - Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。
そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。
良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。
我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
論文 参考訳(メタデータ) (2023-12-25T01:00:58Z) - Cycle Consistent Probability Divergences Across Different Spaces [38.43511529063335]
確率分布の相違は、統計的推測と機械学習の核心にある。
本研究は, 異方性, 異方性, 異方性, 異なる空間上の分布をマッチングするための, アンバランスなモンジュ最適輸送定式化を提案する。
論文 参考訳(メタデータ) (2021-11-22T16:35:58Z) - Lifting the Convex Conjugate in Lagrangian Relaxations: A Tractable
Approach for Continuous Markov Random Fields [53.31927549039624]
断片的な離散化は既存の離散化問題と矛盾しないことを示す。
この理論を2つの画像のマッチング問題に適用する。
論文 参考訳(メタデータ) (2021-07-13T12:31:06Z) - Balanced Coarsening for Multilevel Hypergraph Partitioning via
Wasserstein Discrepancy [40.93626211612559]
マルチレベルハイパーグラフのためのバランスの取れた粗大化方式を提案する。
初期分割アルゴリズムはk-wayハイパーグラフの品質を向上させるために設計されている。
論文 参考訳(メタデータ) (2021-06-14T15:30:34Z) - Continuous Regularized Wasserstein Barycenters [51.620781112674024]
正規化ワッサーシュタイン・バリセンタ問題に対する新しい双対定式化を導入する。
我々は、強い双対性を確立し、対応する主対関係を用いて、正規化された輸送問題の双対ポテンシャルを用いて暗黙的にバリセンターをパラメトリゼーションする。
論文 参考訳(メタデータ) (2020-08-28T08:28:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。