論文の概要: Scalable Approximate Algorithms for Optimal Transport Linear Models

• arxiv url: http://arxiv.org/abs/2504.04609v1
• Date: Sun, 06 Apr 2025 20:37:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:13:37.733494
• Title: Scalable Approximate Algorithms for Optimal Transport Linear Models
• Title（参考訳）: 最適輸送線形モデルのためのスケーラブル近似アルゴリズム
• Authors: Tomasz Kacprzak, Francois Kamper, Michael W. Heiss, Gianluca Janka, Ann M. Dillner, Satoshi Takahama,
• Abstract要約: エントロピー規則化OTデータフィット項を用いた非線形回帰モデルの一般クラスを解くための新しい枠組みを提案する。 一般的なペナルティとデータ適合の条件に対する単純な乗法的更新を導出する。 本手法は,実装の単純さと並列化の容易さから,大規模問題に適した手法である。
• 参考スコア（独自算出の注目度）: 0.769672852567215
• License:
• Abstract: Recently, linear regression models incorporating an optimal transport (OT) loss have been explored for applications such as supervised unmixing of spectra, music transcription, and mass spectrometry. However, these task-specific approaches often do not generalize readily to a broader class of linear models. In this work, we propose a novel algorithmic framework for solving a general class of non-negative linear regression models with an entropy-regularized OT datafit term, based on Sinkhorn-like scaling iterations. Our framework accommodates convex penalty functions on the weights (e.g. squared-$\ell_2$ and $\ell_1$ norms), and admits additional convex loss terms between the transported marginal and target distribution (e.g. squared error or total variation). We derive simple multiplicative updates for common penalty and datafit terms. This method is suitable for large-scale problems due to its simplicity of implementation and straightforward parallelization.
• Abstract（参考訳）: 近年、スペクトルの教師付きアンミキシング、音楽の書き起こし、質量分析などの応用として、最適輸送(OT)損失を取り入れた線形回帰モデルが研究されている。 しかしながら、これらのタスク固有のアプローチは、しばしばより広範な線形モデルのクラスに容易に一般化しない。 本研究では、シンクホーンのようなスケーリングの反復に基づくエントロピー規則化OTデータフィット項を持つ非負線形回帰モデルの一般クラスを解くための新しいアルゴリズムフレームワークを提案する。 我々のフレームワークは、重みの凸ペナルティ関数(eg squared-$\ell_2$および$\ell_1$ norms)を許容し、輸送された限界分布と目標分布(eg squared errorまたは全変動)の間の凸損失項を許容する。 一般的なペナルティとデータ適合の条件に対する単純な乗法的更新を導出する。 本手法は,実装の単純さと並列化の容易さから,大規模問題に適した手法である。

関連論文リスト

• Efficient Optimization Algorithms for Linear Adversarial Training [9.933836677441684]
  逆行訓練は摂動に対して堅牢なモデルを学ぶのに使える。 本稿では,線形モデルの対数学習のための最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-16T15:41:08Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models [69.22568644711113]
  我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。 理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。 シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
  論文  参考訳（メタデータ） (2023-06-05T21:08:34Z)
• An adaptive shortest-solution guided decimation approach to sparse high-dimensional linear regression [2.3759847811293766]
  ASSDは最短解誘導アルゴリズムから適応され、ASSDと呼ばれる。 ASSDは、実世界の応用で遭遇する高度に相関した測定行列を持つ線形回帰問題に特に適している。
  論文  参考訳（メタデータ） (2022-11-28T04:29:57Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• Spike-and-Slab Generalized Additive Models and Scalable Algorithms for High-Dimensional Data [0.0]
  本稿では,高次元データに対応するため,階層型一般化加法モデル(GAM)を提案する。 曲線の適切な縮退と滑らか化関数線型空間と非線形空間の分離に対する平滑化ペナルティを考察する。 2つの決定論的アルゴリズム、EM-Coordinate Descent と EM-Iterative Weighted Least Squares は異なるユーティリティ向けに開発された。
  論文  参考訳（メタデータ） (2021-10-27T14:11:13Z)
• A spectral algorithm for robust regression with subgaussian rates [0.0]
  本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。 目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
  論文  参考訳（メタデータ） (2020-07-12T19:33:50Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。