論文の概要: Tunable Convolutions with Parametric Multi-Loss Optimization
- arxiv url: http://arxiv.org/abs/2304.00898v1
- Date: Mon, 3 Apr 2023 11:36:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:49:08.330525
- Title: Tunable Convolutions with Parametric Multi-Loss Optimization
- Title（参考訳）: パラメトリックマルチロス最適化による可変畳み込み
- Authors: Matteo Maggioni, Thomas Tanay, Francesca Babiloni, Steven McDonagh,
Ale\v{s} Leonardis
- Abstract要約: ニューラルネットワークの挙動は、トレーニング中に使用される特定の損失とデータによって不適切に決定される。
ユーザの好みやデータの動的特性といった外部要因に基づいて,推論時にモデルをチューニングすることが望ましい場合が多い。
これは、不適切な画像から画像への変換タスクの知覚歪曲トレードオフのバランスをとるために特に重要である。
- 参考スコア（独自算出の注目度）: 5.658123802733283
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Behavior of neural networks is irremediably determined by the specific loss
and data used during training. However it is often desirable to tune the model
at inference time based on external factors such as preferences of the user or
dynamic characteristics of the data. This is especially important to balance
the perception-distortion trade-off of ill-posed image-to-image translation
tasks. In this work, we propose to optimize a parametric tunable convolutional
layer, which includes a number of different kernels, using a parametric
multi-loss, which includes an equal number of objectives. Our key insight is to
use a shared set of parameters to dynamically interpolate both the objectives
and the kernels. During training, these parameters are sampled at random to
explicitly optimize all possible combinations of objectives and consequently
disentangle their effect into the corresponding kernels. During inference,
these parameters become interactive inputs of the model hence enabling reliable
and consistent control over the model behavior. Extensive experimental results
demonstrate that our tunable convolutions effectively work as a drop-in
replacement for traditional convolutions in existing neural networks at
virtually no extra computational cost, outperforming state-of-the-art control
strategies in a wide range of applications; including image denoising,
deblurring, super-resolution, and style transfer.
- Abstract（参考訳）: ニューラルネットワークの振舞いは、トレーニング中に使用される特定の損失とデータによって不可分に決定される。
しかしながら、ユーザの好みやデータの動的特性といった外部要因に基づいて、推論時にモデルをチューニングすることが望ましい場合が多い。
これは、不適切な画像から画像への変換タスクの知覚歪曲トレードオフのバランスをとるために特に重要である。
本研究では,多数の異なるカーネルを含むパラメトリック可変畳み込み層を,同じ数の目的を含むパラメトリックマルチロスを用いて最適化することを提案する。
私たちの重要な洞察は、パラメータの共有セットを使用して、目的とカーネルの両方を動的に補間することです。
トレーニング中、これらのパラメータはランダムにサンプリングされ、目的のすべての可能な組み合わせを明示的に最適化し、その結果、対応するカーネルにその効果を乱す。
推論の間、これらのパラメータはモデルのインタラクティブな入力となり、モデルの振る舞いを信頼できる一貫した制御を可能にします。
広範な実験結果から,既存のニューラルネットワークにおける従来の畳み込みの代替として,画像のデノイジング,デブラリング,スーパーレゾリューション,スタイル転送など,幅広いアプリケーションにおいて最先端の制御戦略を上回って,従来の畳み込みの代替として効果的に動作することが分かった。
関連論文リスト
- Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。
既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。
ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-29T19:02:54Z) - Adaptive Sampling for Continuous Group Equivariant Neural Networks [5.141137421503899]
本稿では,データ中の対称性に対して動的にサンプリングプロセスを調整する適応型サンプリング手法を提案する。
その結果,モデル性能は向上し,メモリ効率は限界的に向上した。
論文 参考訳（メタデータ） (2024-09-13T11:50:09Z) - Subject-specific Deep Neural Networks for Count Data with
High-cardinality Categorical Features [1.2289361708127877]
本稿では,ポアソンディープニューラルネットワークにガンマランダム効果を導入するための新しい階層的確率学習フレームワークを提案する。
提案手法は,固定パラメータの最大極大推定器とランダム効果の最適非バイアス予測器を同時に生成する。
最先端のネットワークアーキテクチャは、提案されたh-likelihoodフレームワークに容易に実装できる。
論文 参考訳（メタデータ） (2023-10-18T01:54:48Z) - Sparse-Input Neural Network using Group Concave Regularization [10.103025766129006]
ニューラルネットワークでは、同時特徴選択と非線形関数推定が困難である。
低次元と高次元の両方の設定における特徴選択のための群凹正規化を用いたスパースインプットニューラルネットワークの枠組みを提案する。
論文 参考訳（メタデータ） (2023-07-01T13:47:09Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Bayesian optimization of distributed neurodynamical controller models
for spatial navigation [1.9249287163937971]
我々はニューロシュワームコントローラを導入し、エージェントベースの相互作用を神経ネットワークの相互作用に類似してモデル化する。
この複雑さは、従来のSwarmモデルの研究に一般的に使用される安定性、制御可能性、性能の線形解析を妨げる。
ベイズ最適化に基づく自律型マルチエージェントシステムの動的コントローラモデルをチューニングするためのフレームワークを提案する。
論文 参考訳（メタデータ） (2021-10-31T21:43:06Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳（メタデータ） (2021-06-24T12:23:05Z) - A Flexible Framework for Designing Trainable Priors with Adaptive
Smoothing and Game Encoding [57.1077544780653]
我々は、前方通過を非滑らかな凸最適化問題として解釈できるニューラルネットワーク層の設計とトレーニングのための一般的なフレームワークを紹介する。
グラフのノードに代表されるローカルエージェントによって解決され、正規化関数を介して相互作用する凸ゲームに焦点を当てる。
このアプローチは、訓練可能なエンドツーエンドのディープモデル内で、古典的な画像の事前使用を可能にするため、画像の問題を解決するために魅力的である。
論文 参考訳（メタデータ） (2020-06-26T08:34:54Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。