Fugu-MT 論文翻訳(概要): Adaptive Sampling for Continuous Group Equivariant Neural Networks

論文の概要: Adaptive Sampling for Continuous Group Equivariant Neural Networks

arxiv url: http://arxiv.org/abs/2409.08741v1
Date: Fri, 13 Sep 2024 11:50:09 GMT
ステータス: 処理完了
システム内更新日: 2024-09-16 16:49:03.785544
Title: Adaptive Sampling for Continuous Group Equivariant Neural Networks
Title（参考訳）: 連続群同変ニューラルネットワークの適応サンプリング
Authors: Berfin Inal, Gabriele Cesa,
Abstract要約: 本稿では,データ中の対称性に対して動的にサンプリングプロセスを調整する適応型サンプリング手法を提案する。その結果,モデル性能は向上し,メモリ効率は限界的に向上した。
参考スコア（独自算出の注目度）: 5.141137421503899
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Steerable networks, which process data with intrinsic symmetries, often use Fourier-based nonlinearities that require sampling from the entire group, leading to a need for discretization in continuous groups. As the number of samples increases, both performance and equivariance improve, yet this also leads to higher computational costs. To address this, we introduce an adaptive sampling approach that dynamically adjusts the sampling process to the symmetries in the data, reducing the number of required group samples and lowering the computational demands. We explore various implementations and their effects on model performance, equivariance, and computational efficiency. Our findings demonstrate improved model performance, and a marginal increase in memory efficiency.
Abstract（参考訳）: 固有対称性を持つデータを処理するステアブルネットワークは、しばしばフーリエに基づく非線形性を使用し、グループ全体のサンプリングを必要とするため、連続したグループにおける離散化の必要性が生じる。サンプルの数が増えるにつれて、性能と等価性が向上するが、計算コストも高くなる。そこで本研究では,データ中の対称性に対するサンプリングプロセスを動的に調整し,必要なグループサンプル数を減らし,計算要求を減らし,適応サンプリング手法を提案する。モデルの性能, 同値性, 計算効率に対する様々な実装とその効果について検討する。その結果,モデル性能は向上し,メモリ効率は限界的に向上した。

関連論文リスト

Symmetry-Preserving Diffusion Models via Target Symmetrization [43.83899968118655]
本稿では, 対称性付き損失関数を用いて等価性を強制する新しい手法を提案する。本手法では,モンテカルロサンプリングを用いて平均値を推定し,計算オーバーヘッドを最小限に抑える。実験では,既存の方法と比較して試料の品質が向上した。
論文参考訳（メタデータ） (2025-02-14T03:26:57Z)
Neural Flow Samplers with Shortcut Models [19.81513273510523]
流れに基づくサンプルは連続性方程式を満たす速度場を学習してサンプルを生成する。重要サンプリングは近似を提供するが、高い分散に悩まされる。
論文参考訳（メタデータ） (2025-02-11T07:55:41Z)
Parallel simulation for sampling under isoperimetry and score-based diffusion models [56.39904484784127]
データサイズが大きくなるにつれて、イテレーションコストの削減が重要な目標になります。科学計算における初期値問題の並列シミュレーションの成功に触発されて,タスクをサンプリングするための並列Picard法を提案する。本研究は,動力学に基づくサンプリング・拡散モデルの科学的計算におけるシミュレーション手法の潜在的利点を強調した。
論文参考訳（メタデータ） (2024-12-10T11:50:46Z)
Score-based Generative Models with Adaptive Momentum [40.84399531998246]
変換過程を高速化する適応運動量サンプリング法を提案する。提案手法は,2倍から5倍の速度で,より忠実な画像/グラフを小さなサンプリングステップで作成できることを示す。
論文参考訳（メタデータ） (2024-05-22T15:20:27Z)
Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文参考訳（メタデータ） (2024-01-29T02:08:40Z)
Tunable Convolutions with Parametric Multi-Loss Optimization [5.658123802733283]
ニューラルネットワークの挙動は、トレーニング中に使用される特定の損失とデータによって不適切に決定される。ユーザの好みやデータの動的特性といった外部要因に基づいて,推論時にモデルをチューニングすることが望ましい場合が多い。これは、不適切な画像から画像への変換タスクの知覚歪曲トレードオフのバランスをとるために特に重要である。
論文参考訳（メタデータ） (2023-04-03T11:36:10Z)
ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
論文参考訳（メタデータ） (2022-04-30T06:58:56Z)
Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文参考訳（メタデータ） (2021-03-15T16:16:18Z)
Normalized Convolution Upsampling for Refined Optical Flow Estimation [23.652615797842085]
正常化された畳み込みのUPsampler (NCUP)は光学流れCNNsの訓練の間にフルレゾリューションの流れを作り出す有効な共同アップサンプリングのアプローチです。提案手法では,アップサンプリングタスクをスパース問題として定式化し,正規化畳み込みニューラルネットワークを用いて解く。 6%のエラー低減とKITTIデータセットのオンパーで、Sintelベンチマークの最新の結果を達成し、パラメータを7.5%削減します。
論文参考訳（メタデータ） (2021-02-13T18:34:03Z)
Optimal Importance Sampling for Federated Learning [57.14673504239551]
フェデレートラーニングには、集中型と分散化された処理タスクが混在する。エージェントとデータのサンプリングは概して一様であるが、本研究では一様でないサンプリングについて考察する。エージェント選択とデータ選択の両方に最適な重要サンプリング戦略を導出し、置換のない一様サンプリングが元のFedAvgアルゴリズムの性能を向上させることを示す。
論文参考訳（メタデータ） (2020-10-26T14:15:33Z)
Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文参考訳（メタデータ） (2020-06-10T12:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。