論文の概要: Local Curvature Smoothing with Stein's Identity for Efficient Score Matching

• arxiv url: http://arxiv.org/abs/2412.03962v1
• Date: Thu, 05 Dec 2024 08:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:41:57.874398
• Title: Local Curvature Smoothing with Stein's Identity for Efficient Score Matching
• Title（参考訳）: 効率的なスコアマッチングのための局所曲率平滑化とスタインの同一性
• Authors: Genki Osada, Makoto Shing, Takashi Nishide,
• Abstract要約: 本稿では,Stein's Identity (LCSS) を用いた局所曲率スムースなスコアマッチング変種を提案する。 LCSSは、スタインのアイデンティティを適用してジャコビアントレースをバイパスし、正規化の有効性と効率的な計算を可能にした。 LCSSは,サンプル生成性能において既存の手法を上回り,スコアマッチングの性能と一致することを示す。
• 参考スコア（独自算出の注目度）: 3.4137115855910767
• License:
• Abstract: The training of score-based diffusion models (SDMs) is based on score matching. The challenge of score matching is that it includes a computationally expensive Jacobian trace. While several methods have been proposed to avoid this computation, each has drawbacks, such as instability during training and approximating the learning as learning a denoising vector field rather than a true score. We propose a novel score matching variant, local curvature smoothing with Stein's identity (LCSS). The LCSS bypasses the Jacobian trace by applying Stein's identity, enabling regularization effectiveness and efficient computation. We show that LCSS surpasses existing methods in sample generation performance and matches the performance of denoising score matching, widely adopted by most SDMs, in evaluations such as FID, Inception score, and bits per dimension. Furthermore, we show that LCSS enables realistic image generation even at a high resolution of $1024 \times 1024$.
• Abstract（参考訳）: スコアベース拡散モデル(SDM)のトレーニングはスコアマッチングに基づいている。 スコアマッチングの課題は、計算的に高価なジャコビアントレースを含むことである。 この計算を避けるためにいくつかの方法が提案されているが、訓練中の不安定性や学習を真のスコアではなく偏微分ベクトル場を学ぶものとして近似するといった欠点がある。 本稿では,Stein's Identity (LCSS) を用いた局所曲率スムースな新しいスコアマッチング変種を提案する。 LCSSは、スタインのアイデンティティを適用してジャコビアントレースをバイパスし、正規化の有効性と効率的な計算を可能にした。 LCSSはサンプル生成性能において既存の手法よりも優れており、FID, Inception score, bits per dimensionなどの評価において、ほとんどのSDMで広く採用されているDenoising score Matchのパフォーマンスと一致している。 さらに,LCSSは高解像度の1024ドル/1024ドルでもリアルな画像生成を可能にすることを示す。

関連論文リスト

• On the Noise Robustness of In-Context Learning for Text Generation [41.59602454113563]
  本研究では、テキスト生成タスクにおいて、ノイズの多いアノテーションがテキスト内学習の性能を著しく損なうことを示す。 この問題を回避するために,LPR(Local Perplexity Ranking)と呼ばれるシンプルで効果的なアプローチを提案する。 LPRは「騒々しい」候補者を、より清潔である可能性が高い隣人に置き換える。
  論文  参考訳（メタデータ） (2024-05-27T15:22:58Z)
• Semisupervised score based matching algorithm to evaluate the effect of public health interventions [3.221788913179251]
  1対1のマッチングアルゴリズムでは、マッチする多数の"ペア"は、大きなサンプルからの情報と多数のタスクの両方を意味する可能性がある。 本稿では,2次スコア関数 $S_beta(x_i,x_j)= betaT (x_i-x_j)(x_i-x_j)T beta$ に基づく新しい1対1マッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-19T02:24:16Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Exploring Efficient Asymmetric Blind-Spots for Self-Supervised Denoising in Real-World Scenarios [44.31657750561106]
  実世界のシナリオにおけるノイズはしばしば空間的に相関しており、多くの自己教師型アルゴリズムは性能が良くない。 盲点サイズを自由に調整できる非対称可変ブラインド・スポットネットワーク(AT-BSN)を提案する。 提案手法は最先端技術を実現し,計算オーバーヘッドや視覚効果の観点から,他の自己教師付きアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-29T15:19:01Z)
• Continual Learning for On-Device Speech Recognition using Disentangled Conformers [54.32320258055716]
  本稿では,LibriVoxオーディオブックから派生した話者固有領域適応のための連続学習ベンチマークを提案する。 本稿では,DistangledCLと呼ばれる計算効率のよい連続学習アルゴリズムを提案する。 実験の結果, DisConformer モデルは一般的な ASR のベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-12-02T18:58:51Z)
• Fast and Data Efficient Reinforcement Learning from Pixels via Non-Parametric Value Approximation [90.78178803486746]
  離散動作,画素ベース環境のための強化学習アルゴリズムであるNonparametric Approximation of Inter-Trace Return (NAIT)を提案する。 ATARI100kの26ゲーム版と57ゲーム版の両方においてNAITを実証的に評価した。
  論文  参考訳（メタデータ） (2022-03-07T00:31:31Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Multiscale Score Matching for Out-of-Distribution Detection [19.61640396236456]
  本稿では,複数の雑音尺度におけるスコア推定のノルムを利用して,分布外画像(OOD)の検出手法を提案する。 我々の方法論は完全に教師なしであり、まっすぐな前向きのトレーニングスキームに従っています。
  論文  参考訳（メタデータ） (2020-10-25T15:10:31Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)
• Sliced Kernelized Stein Discrepancy [17.159499204595527]
  Kernelized Stein discrepancy (KSD) は、良質なテストやモデル学習に広く用いられている。 最適一次元射影上に定義されたカーネルベースのテスト関数を用いるスライスされたスタイン差分とそのスケーラブルでカーネル化された変種を提案する。 モデル学習においては,異なる相違点を持つ独立成分分析モデルを訓練することにより,既存のSteinの相違点ベースラインに対してその優位性を示す。
  論文  参考訳（メタデータ） (2020-06-30T04:58:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。