論文の概要: GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm

• arxiv url: http://arxiv.org/abs/2206.03291v1
• Date: Sun, 5 Jun 2022 06:36:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 15:57:30.458426
• Title: GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm
• Title（参考訳）: GAAF:遺伝的アルゴリズムによるバイナリニューラルネットワークの活性化関数探索
• Authors: Yanfei Li, Tong Geng, Samuel Stein, Ang Li, Huimin Yu
• Abstract要約: バイナリニューラルネットワーク(BNN)は、エッジデバイスやモバイルシステムのような、コストと電力制限のある領域で有望な利用を示している。 本稿では,サインベースバイナライゼーションに先立って補完活性化関数 (AF) を付加し,遺伝的アルゴリズム (GA) に頼って理想的なAFを自動検索することを提案する。
• 参考スコア（独自算出の注目度）: 15.403807679886716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary neural networks (BNNs) show promising utilization in cost and power-restricted domains such as edge devices and mobile systems. This is due to its significantly less computation and storage demand, but at the cost of degraded performance. To close the accuracy gap, in this paper we propose to add a complementary activation function (AF) ahead of the sign based binarization, and rely on the genetic algorithm (GA) to automatically search for the ideal AFs. These AFs can help extract extra information from the input data in the forward pass, while allowing improved gradient approximation in the backward pass. Fifteen novel AFs are identified through our GA-based search, while most of them show improved performance (up to 2.54% on ImageNet) when testing on different datasets and network models. Our method offers a novel approach for designing general and application-specific BNN architecture. Our code is available at http://github.com/flying-Yan/GAAF.
• Abstract（参考訳）: バイナリニューラルネットワーク(bnns)は、エッジデバイスやモバイルシステムなど、コストと電力制限領域での有望な利用を示している。 これは計算量とストレージの需要が著しく少ないためであるが、性能が低下するコストがかかる。 本稿では,この精度ギャップを埋めるために,符号に基づく二項化よりも先に相補的活性化関数 (AF) を追加し,遺伝的アルゴリズム (GA) に頼って理想的なAFを自動検索する手法を提案する。 これらのAFは、フォワードパスの入力データから追加情報を抽出し、後方パスの勾配近似の改善を可能にする。 GAベースの検索によって15の新たなAFが特定され、そのほとんどが、異なるデータセットやネットワークモデルをテストする際のパフォーマンス向上(ImageNetで2.54%まで)を示しています。 本手法は汎用BNNアーキテクチャを設計するための新しいアプローチを提供する。 私たちのコードはhttp://github.com/flying-yan/gaafで利用可能です。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• Automatic Relation-aware Graph Network Proliferation [182.30735195376792]
  GNNを効率的に検索するためのARGNP(Automatic Relation-Aware Graph Network Proliferation)を提案する。 これらの操作は階層的なノード/リレーショナル情報を抽出し、グラフ上のメッセージパッシングのための異方的ガイダンスを提供する。 4つのグラフ学習タスクのための6つのデータセットの実験により、我々の手法によって生成されたGNNは、現在最先端の手作りおよび検索に基づくGNNよりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-31T10:38:04Z)
• LHNN: Lattice Hypergraph Neural Network for VLSI Congestion Prediction [70.31656245793302]
  格子ハイパーグラフ(格子ハイパーグラフ)は、回路のための新しいグラフ定式化である。 LHNNは、F1スコアのU-netやPix2Pixと比べて、35%以上の改善を常に達成している。
  論文  参考訳（メタデータ） (2022-03-24T03:31:18Z)
• Graph-adaptive Rectified Linear Unit for Graph Neural Networks [64.92221119723048]
  グラフニューラルネットワーク(GNN)は、従来の畳み込みを非ユークリッドデータでの学習に拡張することで、目覚ましい成功を収めた。 本稿では,周辺情報を利用した新しいパラメトリックアクティベーション機能であるグラフ適応整流線形ユニット(GRELU)を提案する。 我々は,GNNのバックボーンと様々な下流タスクによって,プラグアンドプレイGRELU法が効率的かつ効果的であることを示す包括的実験を行った。
  論文  参考訳（メタデータ） (2022-02-13T10:54:59Z)
• Enhanced Exploration in Neural Feature Selection for Deep Click-Through Rate Prediction Models via Ensemble of Gating Layers [7.381829794276824]
  神経機能選択(NFS)の目標は、最も説明力のある比較的小さな機能のサブセットを選択することである。 ゲーティングアプローチは、情報の少ない特徴をドロップするために、識別可能なバイナリゲートのセットを挿入する。 勾配に基づく解の探索能力を向上させるために,単純だが効果的なアンサンブル学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-07T04:37:05Z)
• Neural Network Branch-and-Bound for Neural Network Verification [26.609606492971967]
  本稿では,効率的な分岐戦略を設計するための新しい機械学習フレームワークを提案する。 グラフ入力として検証したいネットワークを直接扱う2つのグラフニューラルネットワーク(GNN)を学習する。 我々のGNNモデルは、より大きな未確認ネットワーク上での厳しい特性に対してよく一般化されていることを示す。
  論文  参考訳（メタデータ） (2021-07-27T14:42:57Z)
• Implementing a foveal-pit inspired filter in a Spiking Convolutional Neural Network: a preliminary study [0.0]
  我々は,網膜卵管刺激によるガウスフィルタとランク順符号化の差異を取り入れたスポーキング畳み込みニューラルネットワーク(SCNN)を提示した。 このモデルは、Nengoライブラリーで実装されているように、スパイキングニューロンで動作するように適応されたバックプロパゲーションアルゴリズムの変種を用いて訓練される。 ネットワークは最大90%の精度で達成され、損失はクロスエントロピー関数を用いて計算される。
  論文  参考訳（メタデータ） (2021-05-29T15:28:30Z)
• A Neural Network Approach for Online Nonlinear Neyman-Pearson Classification [3.6144103736375857]
  論文の中では,オンラインと非線形の両方で初となる新しいNeyman-Pearson(NP)分類器を提案する。 提案する分類器は、オンライン方式でバイナリラベル付きデータストリーム上で動作し、ユーザが指定し、制御可能な偽陽性率の検出能力を最大化する。 提案アルゴリズムは大規模データアプリケーションに適しており,実時間処理による偽陽性率制御性を実現している。
  論文  参考訳（メタデータ） (2020-06-14T20:00:25Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。