論文の概要: Hi-fi functional priors by learning activations

• arxiv url: http://arxiv.org/abs/2508.08880v1
• Date: Tue, 12 Aug 2025 12:09:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-13 21:07:34.41807
• Title: Hi-fi functional priors by learning activations
• Title（参考訳）: 学習活性化によるハイファイ関数前駆体
• Authors: Marcin Sendera, Amin Sorkhei, Tomasz Kuśmierczyk,
• Abstract要約: トレーニング可能なアクティベーションがより複雑な事前処理にどのように対応し、複雑なターゲット関数分布にマッチするかを検討する。 実験結果から, フレキシブルなトレーニング可能なアクティベーション機能を備えたBNNであっても, 所望の関数空間前処理を効果的に実現できることが示唆された。
• 参考スコア（独自算出の注目度）: 1.0468715529145969
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function-space priors in Bayesian Neural Networks (BNNs) provide a more intuitive approach to embedding beliefs directly into the model's output, thereby enhancing regularization, uncertainty quantification, and risk-aware decision-making. However, imposing function-space priors on BNNs is challenging. We address this task through optimization techniques that explore how trainable activations can accommodate higher-complexity priors and match intricate target function distributions. We investigate flexible activation models, including Pade functions and piecewise linear functions, and discuss the learning challenges related to identifiability, loss construction, and symmetries. Our empirical findings indicate that even BNNs with a single wide hidden layer when equipped with flexible trainable activation, can effectively achieve desired function-space priors.
• Abstract（参考訳）: ベイズニューラルネットワーク(BNN)の関数空間先行性は、モデルの出力に直接信念を埋め込むためのより直感的なアプローチを提供する。 しかしながら、関数空間をBNNに含めることは困難である。 この課題は、トレーニング可能なアクティベーションがより複雑な事前処理に適合し、複雑な対象関数分布に適合するかを探索する最適化手法によって解決される。 ペイド関数やピースワイズ線形関数を含むフレキシブル・アクティベーション・モデルについて検討し,識別可能性,損失構成,対称性に関する学習課題について考察する。 実験結果から, フレキシブルなトレーニング可能なアクティベーション機能を備えたBNNであっても, 所望の関数空間前処理を効果的に実現できることが示唆された。

関連論文リスト

• Revisiting the Equivalence of Bayesian Neural Networks and Gaussian Processes: On the Importance of Learning Activations [1.0468715529145969]
  トレーニング可能なアクティベーションは、広範囲なBNNに対するGP前の効果的なマッピングに不可欠であることを示す。 また、設計によるグローバルな定常性を確保するためのトレーニング可能な周期的アクティベーションも導入する。
  論文  参考訳（メタデータ） (2024-10-21T08:42:10Z)
• Adaptive Activation Functions for Predictive Modeling with Sparse Experimental Data [2.012425476229879]
  本研究では,適応的あるいは訓練可能なアクティベーション関数が,限られたデータ可用性を特徴とする設定における分類精度と予測不確実性に与える影響について検討した。 本研究は,個別の訓練可能なパラメータを持つ指数線形ユニット(ELU)やソフトプラスなどの適応活性化関数が正確かつ確実な予測モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-02-08T04:35:09Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Activation function design for deep networks: linearity and effective initialisation [10.108857371774977]
  先行作業で特定された初期化時の2つの問題を回避する方法を検討する。 これらの問題は, 原点付近に十分に大きな線形領域を持つ活性化関数を選択することで, どちらも回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-17T11:30:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。