論文の概要: Aspects of importance sampling in parameter selection for neural networks using ridgelet transform
- arxiv url: http://arxiv.org/abs/2407.18655v1
- Date: Fri, 26 Jul 2024 10:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 13:40:43.572797
- Title: Aspects of importance sampling in parameter selection for neural networks using ridgelet transform
- Title（参考訳）: リッジレット変換を用いたニューラルネットワークのパラメータ選択における重要サンプリングの側面
- Authors: Hikaru Homma, Jun Ohkubo,
- Abstract要約: オラクル分布 リッジレット変換 重要サンプリング ニューラルネットワーク
重みパラメータの大きさは、インターセプトパラメータよりも重要であることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The choice of parameters in neural networks is crucial in the performance, and an oracle distribution derived from the ridgelet transform enables us to obtain suitable initial parameters. In other words, the distribution of parameters is connected to the integral representation of target functions. The oracle distribution allows us to avoid the conventional backpropagation learning process; only a linear regression is enough to construct the neural network in simple cases. This study provides a new look at the oracle distributions and ridgelet transforms, i.e., an aspect of importance sampling. In addition, we propose extensions of the parameter sampling methods. We demonstrate the aspect of importance sampling and the proposed sampling algorithms via one-dimensional and high-dimensional examples; the results imply that the magnitude of weight parameters could be more crucial than the intercept parameters.
- Abstract（参考訳）: ニューラルネットワークにおけるパラメータの選択は、性能において不可欠であり、リッジレット変換から導かれたオラクル分布は、適切な初期パラメータを得ることを可能にする。
言い換えれば、パラメータの分布は対象関数の積分表現と結びついている。
オラクル分布は、従来のバックプロパゲーション学習プロセスを避けることが可能であり、単純な場合でニューラルネットワークを構築するのに十分な線形回帰のみである。
本研究は、オラクル分布とリッジレット変換、すなわち重要サンプリングの側面を新たに考察する。
さらに,パラメータサンプリング手法の拡張を提案する。
その結果, 重みパラメータの大きさは, インターセプトパラメータよりも重要となる可能性が示唆された。
関連論文リスト
- Nonuniform random feature models using derivative information [10.239175197655266]
ニューラルネットワークの初期化のための不均一なデータ駆動パラメータ分布を近似する関数の微分データに基づいて提案する。
We address the case of Heaviside and ReLU activation function and their smooth approximations (Sigmoid and softplus)。
入力点における近似微分データに基づいて、これらの正確な密度を単純化し、非常に効率的なサンプリングを可能にし、複数のシナリオにおいて最適なネットワークに近いランダムな特徴モデルの性能をもたらすことを提案する。
論文 参考訳（メタデータ） (2024-10-03T01:30:13Z) - Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。
私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。
最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
論文 参考訳（メタデータ） (2024-07-08T12:32:51Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Joint Bayesian Inference of Graphical Structure and Parameters with a
Single Generative Flow Network [59.79008107609297]
本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。
サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。
パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
論文 参考訳（メタデータ） (2023-05-30T19:16:44Z) - Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。
提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。
我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
論文 参考訳（メタデータ） (2022-09-26T17:59:58Z) - Optimizing model-agnostic Random Subspace ensembles [5.680512932725364]
教師あり学習のためのモデルに依存しないアンサンブルアプローチを提案する。
提案手法は、ランダム部分空間アプローチのパラメトリックバージョンを用いてモデルのアンサンブルを学習することとを交互に行う。
シミュレーションおよび実世界のデータセット上で,予測と特徴ランキングの両面で,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-07T13:58:23Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Neural BRDF Representation and Importance Sampling [79.84316447473873]
本稿では,リフレクタンスBRDFデータのコンパクトニューラルネットワークに基づく表現について述べる。
BRDFを軽量ネットワークとしてエンコードし、適応角サンプリングによるトレーニングスキームを提案する。
複数の実世界のデータセットから等方性および異方性BRDFの符号化結果を評価する。
論文 参考訳（メタデータ） (2021-02-11T12:00:24Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳（メタデータ） (2020-03-19T15:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。