論文の概要: Adaptive Segmentation-Based Initialization for Steered Mixture of Experts Image Regression

• arxiv url: http://arxiv.org/abs/2409.10101v1
• Date: Mon, 16 Sep 2024 09:05:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-17 16:09:48.762474
• Title: Adaptive Segmentation-Based Initialization for Steered Mixture of Experts Image Regression
• Title（参考訳）: アダプティブセグメンテーションに基づくエキスパート画像回帰のステアリングミキサーの初期化
• Authors: Yi-Hsin Li, Sebastian Knorr, Mårten Sjöström, Thomas Sikora,
• Abstract要約: カーネル画像回帰法は、画像や光場圧縮、ガウススメッティング、デノナイジング、超解像など、多くの画像処理タスクにおいて優れた効率性をもたらすことが示されている。 本稿では、ステアリングカーネルを用いたステアリング・ミクチャー・オブ・エキスパート(SMoE)ゲーティングネットワークとラジアル・バシス・ファンクション(RBF)ネットワークの最適化を目的とした、適応セグメンテーションに基づく新しい初期化手法を提案する。
• 参考スコア（独自算出の注目度）: 3.420012239624622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Kernel image regression methods have shown to provide excellent efficiency in many image processing task, such as image and light-field compression, Gaussian Splatting, denoising and super-resolution. The estimation of parameters for these methods frequently employ gradient descent iterative optimization, which poses significant computational burden for many applications. In this paper, we introduce a novel adaptive segmentation-based initialization method targeted for optimizing Steered-Mixture-of Experts (SMoE) gating networks and Radial-Basis-Function (RBF) networks with steering kernels. The novel initialization method allocates kernels into pre-calculated image segments. The optimal number of kernels, kernel positions, and steering parameters are derived per segment in an iterative optimization and kernel sparsification procedure. The kernel information from "local" segments is then transferred into a "global" initialization, ready for use in iterative optimization of SMoE, RBF, and related kernel image regression methods. Results show that drastic objective and subjective quality improvements are achievable compared to widely used regular grid initialization, "state-of-the-art" K-Means initialization and previously introduced segmentation-based initialization methods, while also drastically improving the sparsity of the regression models. For same quality, the novel initialization results in models with around 50% reduction of kernels. In addition, a significant reduction of convergence time is achieved, with overall run-time savings of up to 50%. The segmentation-based initialization strategy itself admits heavy parallel computation; in theory, it may be divided into as many tasks as there are segments in the images. By accessing only four parallel GPUs, run-time savings of already 50% for initialization are achievable.
• Abstract（参考訳）: カーネル画像回帰法は、画像や光場圧縮、ガウススメッティング、デノナイジング、超解像など、多くの画像処理タスクにおいて優れた効率性をもたらすことが示されている。 これらの手法のパラメータ推定では、勾配降下反復最適化を用いることが多く、多くのアプリケーションで計算負荷が大きい。 本稿では、ステアード・ミクチャー・オブ・エキスパート(SMoE)ゲーティングネットワークと、ステアリングカーネルを用いたラジアル・バシス・ファンクション(RBF)ネットワークの最適化を目的とした、適応セグメンテーションに基づく新しい初期化手法を提案する。 新たな初期化法では、カーネルを予め計算された画像セグメントに割り当てる。 カーネルの最適数、カーネル位置、およびステアリングパラメータは、繰り返し最適化およびカーネルスペーサー化手順においてセグメント毎に導出される。 ローカル"セグメントからのカーネル情報は"グローバル"初期化に転送され、SMoE、RBF、および関連するカーネルイメージ回帰手法の反復最適化に使用できる。 その結果, 広範に使用されている正規格子の初期化やK-Meansの初期化, 以前に導入されたセグメンテーションに基づく初期化手法と比較して, 大幅な客観的および主観的品質改善が達成可能であるとともに, 回帰モデルの空間性を大幅に改善していることがわかった。 同じ品質の場合、新しい初期化は、約50%のカーネルを削減したモデルで生じる。 さらに、コンバージェンス時間の大幅な短縮が達成され、全体の実行時の節約率は最大50%となる。 セグメンテーションに基づく初期化戦略自体は、重い並列計算を認めており、理論的には、画像にセグメントが存在する限り多くのタスクに分割することができる。 4つの並列GPUにしかアクセスできないため、初期化に要する実行時の50%の節約が達成できる。

関連論文リスト

• Blind Image Deconvolution by Generative-based Kernel Prior and Initializer via Latent Encoding [46.40894748268764]
  ブラインド画像符号化は、画像処理の分野では古典的だが難しい問題である。 近年の深部画像先行法(DBID)の進歩は,a世代的アプローチを示す一連の手法を動機づけている。 本稿では、事前モデリングをよりよく検討する新しい前世代的アプローチと、カーネルを曖昧にするための生成的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-07-20T09:23:56Z)
• Blind Super-Resolution via Meta-learning and Markov Chain Monte Carlo Simulation [46.5310645609264]
  本稿では,メタラーニングとマルコフ・チェイン・モンテカルロに基づくSISRアプローチを提案する。 軽量ネットワークがカーネルジェネレータとして採用され、ランダムガウス分布のMCMCシミュレーションから学習することで最適化される。 カーネルジェネレータと画像復元器を最適化するために,メタラーニングに基づく交互最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T07:50:15Z)
• Fast, Scalable, Warm-Start Semidefinite Programming with Spectral Bundling and Sketching [53.91395791840179]
  我々は、大規模なSDPを解くための、証明可能な正確で高速でスケーラブルなアルゴリズムであるUnified Spectral Bundling with Sketching (USBS)を提案する。 USBSは、20億以上の決定変数を持つインスタンス上で、最先端のスケーラブルなSDP解決器よりも500倍のスピードアップを提供する。
  論文  参考訳（メタデータ） (2023-12-19T02:27:22Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
  本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。 我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。 RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
  論文  参考訳（メタデータ） (2022-10-21T15:56:13Z)
• Neural KEM: A Kernel Method with Deep Coefficient Prior for PET Image Reconstruction [10.619539066260154]
  本稿では,前もって深度係数を用いたカーネル手法の暗黙正則化を提案する。 ニューラルネットワークに基づく最大値再構成問題を解くために、最適化転送の原理を適用し、ニューラルKEMアルゴリズムを導出する。 コンピュータシミュレーションと実際の患者データの結果から、ニューラルKEMは既存のKEMおよびディープイメージ先行法より優れていることが示されている。
  論文  参考訳（メタデータ） (2022-01-05T04:12:38Z)
• SHINE: SHaring the INverse Estimate from the forward pass for bi-level optimization and implicit models [15.541264326378366]
  近年,深層ニューラルネットワークの深度を高める手法として暗黙の深度学習が登場している。 トレーニングは双レベル問題として実行され、その計算複雑性は巨大なヤコビ行列の反復反転によって部分的に駆動される。 本稿では,この計算ボトルネックに対処する新たな手法を提案する。
  論文  参考訳（メタデータ） (2021-06-01T15:07:34Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。