論文の概要: FlexAct: Why Learn when you can Pick?

• arxiv url: http://arxiv.org/abs/2601.06441v1
• Date: Sat, 10 Jan 2026 05:51:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.816134
• Title: FlexAct: Why Learn when you can Pick?
• Title（参考訳）: FlexAct: なぜ選択できるのか?
• Authors: Ramnath Kumar, Kyle Ritscher, Junmin Judy, Lawrence Liu, Cho-Jui Hsieh,
• Abstract要約: 本稿では,Gumbel-Softmax のトリックを利用して,離散的かつ微分可能な選択を可能にする新しいフレームワークを提案する。 本手法は入力と独立に最適なアクティベーション関数を動的に学習する。 合成データセットの実験により、我々のモデルは常に最も適切なアクティベーション関数を選択することが示された。
• 参考スコア（独自算出の注目度）: 39.92969675794945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning activation functions has emerged as a promising direction in deep learning, allowing networks to adapt activation mechanisms to task-specific demands. In this work, we introduce a novel framework that employs the Gumbel-Softmax trick to enable discrete yet differentiable selection among a predefined set of activation functions during training. Our method dynamically learns the optimal activation function independently of the input, thereby enhancing both predictive accuracy and architectural flexibility. Experiments on synthetic datasets show that our model consistently selects the most suitable activation function, underscoring its effectiveness. These results connect theoretical advances with practical utility, paving the way for more adaptive and modular neural architectures in complex learning scenarios.
• Abstract（参考訳）: 学習活性化関数はディープラーニングにおいて有望な方向として現れており、ネットワークはタスク固有の要求にアクティベーションメカニズムを適用することができる。 本研究では,Gumbel-Softmax の手法を用いて,事前定義されたアクティベーション関数の集合間の離散的かつ微分可能な選択を可能にする新しいフレームワークを提案する。 提案手法は入力から独立して最適なアクティベーション関数を動的に学習し,予測精度とアーキテクチャの柔軟性を両立させる。 合成データセットの実験により、我々のモデルは常に最も適切な活性化関数を選択し、その効果を裏付けることが示された。 これらの結果は、複雑な学習シナリオにおけるより適応的でモジュラーなニューラルアーキテクチャへの道を開くという、理論的進歩と実用性に結びついている。

関連論文リスト

• SmartMixed: A Two-Phase Training Strategy for Adaptive Activation Function Learning in Neural Networks [0.0]
  ネットワークが最適なニューロン単位のアクティベーション関数を学習できるようにするための2段階のトレーニング戦略であるSmartMixedを導入する。 We evaluate SmartMixed on the MNIST dataset using feedforward neural network of various depths。
  論文  参考訳（メタデータ） (2025-10-25T22:46:37Z)
• Efficient Search for Customized Activation Functions with Gradient Descent [42.20716255578699]
  異なるアクティベーション関数は、異なるディープラーニングモデルに最適である。 本稿では,基本的な数学的操作と活性化関数のモデル化を組み合わせた,きめ細かい検索セルを提案する。 我々のアプローチは、特別なアクティベーションの識別を可能にし、試したすべてのモデルのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-08-13T11:27:31Z)
• Joint Feature and Differentiable $ k $-NN Graph Learning using Dirichlet Energy [103.74640329539389]
  特徴選択と識別可能な$k $-NNグラフ学習を同時に行うディープFS法を提案する。 我々は、ニューラルネットワークで$ k $-NNグラフを学習する際の非微分可能性問題に対処するために、最適輸送理論を用いる。 本モデルの有効性を,合成データセットと実世界のデータセットの両方で広範な実験により検証する。
  論文  参考訳（メタデータ） (2023-05-21T08:15:55Z)
• GELU Activation Function in Deep Learning: A Comprehensive Mathematical Analysis and Performance [2.458437232470188]
  GELU活性化関数の可微分性, 有界性, 定常性, 滑らか性について検討した。 GELUは,他のアクティベーション機能と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-20T03:22:43Z)
• Active Learning of Discrete-Time Dynamics for Uncertainty-Aware Model Predictive Control [46.81433026280051]
  本稿では,非線形ロボットシステムの力学を積極的にモデル化する自己教師型学習手法を提案する。 我々のアプローチは、目に見えない飛行条件に一貫して適応することで、高いレジリエンスと一般化能力を示す。
  論文  参考訳（メタデータ） (2022-10-23T00:45:05Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。