論文の概要: Efficient Search for Customized Activation Functions with Gradient Descent

• arxiv url: http://arxiv.org/abs/2408.06820v1
• Date: Tue, 13 Aug 2024 11:27:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 17:46:21.969475
• Title: Efficient Search for Customized Activation Functions with Gradient Descent
• Title（参考訳）: グラディエント輝きを有するカスタマイズ活性化関数の効率的な探索
• Authors: Lukas Strack, Mahmoud Safari, Frank Hutter,
• Abstract要約: 異なるアクティベーション関数は、異なるディープラーニングモデルに最適である。 本稿では,基本的な数学的操作と活性化関数のモデル化を組み合わせた,きめ細かい検索セルを提案する。 我々のアプローチは、特別なアクティベーションの識別を可能にし、試したすべてのモデルのパフォーマンスを向上させる。
• 参考スコア（独自算出の注目度）: 42.20716255578699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Different activation functions work best for different deep learning models. To exploit this, we leverage recent advancements in gradient-based search techniques for neural architectures to efficiently identify high-performing activation functions for a given application. We propose a fine-grained search cell that combines basic mathematical operations to model activation functions, allowing for the exploration of novel activations. Our approach enables the identification of specialized activations, leading to improved performance in every model we tried, from image classification to language models. Moreover, the identified activations exhibit strong transferability to larger models of the same type, as well as new datasets. Importantly, our automated process for creating customized activation functions is orders of magnitude more efficient than previous approaches. It can easily be applied on top of arbitrary deep learning pipelines and thus offers a promising practical avenue for enhancing deep learning architectures.
• Abstract（参考訳）: 異なるアクティベーション関数は、異なるディープラーニングモデルに最適である。 これを活用するために、ニューラルネットワークの勾配に基づく探索手法の最近の進歩を活用し、与えられたアプリケーションに対して高い性能のアクティベーション関数を効率的に同定する。 本稿では,基本的な数学的操作をモデル活性化関数に組み合わせ,新しい活性化関数の探索を可能にする,きめ細かい検索セルを提案する。 提案手法は,画像分類から言語モデルまで,試行したすべてのモデルの性能向上につながる,特殊アクティベーションの識別を可能にする。 さらに、識別されたアクティベーションは、新しいデータセットと同様に、同じタイプのより大きなモデルに対して強い転送可能性を示す。 重要なことは、カスタマイズされたアクティベーション関数を作成する自動化プロセスは、以前のアプローチよりも桁違いに効率的である。 任意のディープラーニングパイプラインに簡単に適用可能であり、ディープラーニングアーキテクチャを強化するための有望な実践的道を提供する。

関連論文リスト

• Learning to Rank for Active Learning via Multi-Task Bilevel Optimization [29.207101107965563]
  データ取得のための学習代理モデルを用いて、ラベルのないインスタンスのバッチを選択することを目的とした、アクティブな学習のための新しいアプローチを提案する。 このアプローチにおける重要な課題は、ユーティリティ関数の入力の一部を構成するデータの歴史が時間とともに増大するにつれて、よく一般化する取得関数を開発することである。
  論文  参考訳（メタデータ） (2023-10-25T22:50:09Z)
• Efficient Activation Function Optimization through Surrogate Modeling [15.219959721479835]
  本稿は,3つのステップを通じて,芸術の状況を改善することを目的としている。 まず、Act-Bench-CNN、Act-Bench-ResNet、Act-Bench-ViTのベンチマークは、畳み込み、残留、ビジョントランスフォーマーアーキテクチャのトレーニングによって作成された。 第2に、ベンチマーク空間のキャラクタリゼーションが開発され、新しいサロゲートに基づく最適化手法が開発された。
  論文  参考訳（メタデータ） (2023-01-13T23:11:14Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Transformers with Learnable Activation Functions [63.98696070245065]
  我々は、Rational Activation Function (RAF) を用いて、入力データに基づいてトレーニング中の最適なアクティベーション関数を学習する。 RAFは、学習されたアクティベーション関数に従って事前学習されたモデルを分析し、解釈するための新しい研究方向を開く。
  論文  参考訳（メタデータ） (2022-08-30T09:47:31Z)
• Energy-based Latent Aligner for Incremental Learning [83.0135278697976]
  ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。 この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。 ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
  論文  参考訳（メタデータ） (2022-03-28T17:57:25Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Evolution of Activation Functions: An Empirical Investigation [0.30458514384586394]
  本研究は、完全に新しい活性化関数の探索を自動化する進化的アルゴリズムを提案する。 これらの新しい活性化関数を、既存の一般的なアクティベーション関数と比較する。
  論文  参考訳（メタデータ） (2021-05-30T20:08:20Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• Evolutionary Optimization of Deep Learning Activation Functions [15.628118691027328]
  進化的アルゴリズムは、Rectified Linear Unit(ReLU)より優れている新しいアクティベーション関数を発見できることを示す。 ReLUを活性化関数に置き換えると、統計的にネットワークの精度が向上する。 これらの新しい活性化関数は、タスク間で高いパフォーマンスを達成するために一般化される。
  論文  参考訳（メタデータ） (2020-02-17T19:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。