論文の概要: A Composite Activation Function for Learning Stable Binary Representations

• arxiv url: http://arxiv.org/abs/2605.11558v1
• Date: Tue, 12 May 2026 05:41:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.60664
• Title: A Composite Activation Function for Learning Stable Binary Representations
• Title（参考訳）: 安定なバイナリ表現学習のための複合活性化関数
• Authors: Seokhun Park, Choeun Kim, Kwanho Lee, Sehyun Park, Insung Kong, Yongdai Kim,
• Abstract要約: 本研究では,Haviside関数のスムーズな近似法を提案する。 我々は,HTAFを用いて勾配に基づく最適化により,スパイキングニューラルネットワーク,バイナリニューラルネットワーク,ディープヘビサイドニューラルネットワークを安定的に訓練可能であることを示す。 最後に,HTAFを利用して離散的特徴表現を誘導する解釈可能な画像モデルであるImplicit Concept Bottleneck Models (ICBMs)を紹介する。
• 参考スコア（独自算出の注目度）: 11.13819240711769
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Activation functions play a central role in neural networks by shaping internal representations. Recently, learning binary activation representations has attracted significant attention due to their advantages in computational and memory efficiency, as well as interpretability. However, training neural networks with Heaviside activations remains challenging, as their non-differentiability obstructs standard gradient-based optimization. In this paper, we propose Heavy Tailed Activation Function (HTAF), a smooth approximation to the Heaviside function that enables stable training with gradient-based optimization. We construct HTAF as a sigmoid hyperbolic tangent composite function and theoretically show that it maintains a large gradient mass around zero inputs while exhibiting slower gradient decay in the tail regions. We show that Spiking Neural Networks, Binary Neural Networks and Deep Heaviside neural Networks can be trained stably using HTAF with gradient-based optimization. Finally, we introduce Implicit Concept Bottleneck Models (ICBMs), an interpretable image model that leverages HTAF to induce discrete feature representations. Extensive experiments across various architectures and image datasets demonstrate that ICBM enables stable discretization while achieving prediction performance comparable to or better than standard models.
• Abstract（参考訳）: 活性化関数は、内部表現を形作ることにより、ニューラルネットワークにおいて中心的な役割を果たす。 近年,バイナリアクティベーション表現の学習は,計算効率やメモリ効率,解釈可能性などの面で大きな注目を集めている。 しかしながら、Heavisideアクティベーションを用いたニューラルネットワークのトレーニングは、その非微分可能性によって標準勾配に基づく最適化が妨げられるため、依然として難しい。 本稿では,Heaviside関数のスムーズな近似であるHeav Tailed Activation Function (HTAF)を提案する。 我々は, HTAFをシグモイド双曲型タンジェント複合関数として構築し, 理論的には, 尾部領域で緩やかな勾配減衰を示しながら, ゼロ入力付近で大きな勾配質量を維持することを示す。 我々は,HTAFを用いて勾配に基づく最適化により,スパイキングニューラルネットワーク,バイナリニューラルネットワーク,ディープヘビサイドニューラルネットワークを安定的に訓練可能であることを示す。 最後に,HTAFを利用して離散的特徴表現を誘導する解釈可能な画像モデルであるImplicit Concept Bottleneck Models (ICBMs)を紹介する。 様々なアーキテクチャや画像データセットにわたる大規模な実験により、ICBMは標準モデルと同等以上の予測性能を達成しつつ、安定した離散化を可能にしていることが示された。

関連論文リスト

• Breaking the Conventional Forward-Backward Tie in Neural Networks: Activation Functions [0.1633272850273525]
  本研究では, アクティベーション関数から得られる厳密な勾配等級は, 勾配方向が保存されている場合, ほとんど冗長であることを示す。 我々は,Heaviside ステップ関数のような,非微分可能活性化関数を持つニューラルネットワークを効果的に訓練できることを明確に示す。
  論文  参考訳（メタデータ） (2025-09-08T21:30:00Z)
• Linear Oscillation: A Novel Activation Function for Vision Transformer [0.0]
  線形振動(LoC)活性化関数を$f(x) = x times sin(alpha x + beta)$と定義する。 非線型性を主に導入する従来の活性化関数とは違い、LoCは線形軌道と振動偏差をシームレスにブレンドする。 私たちの経験的研究によると、多様なニューラルネットワークに組み込むと、LoCアクティベーション機能は、ReLUやSigmoidといった確立したアーキテクチャよりも一貫して優れています。
  論文  参考訳（メタデータ） (2023-08-25T20:59:51Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
  離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。 このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
  論文  参考訳（メタデータ） (2023-07-02T21:46:30Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。