論文の概要: Fully Trainable Deep Differentiable Logic Gate Networks and Lookup Table Networks
- arxiv url: http://arxiv.org/abs/2607.09399v1
- Date: Fri, 10 Jul 2026 13:24:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-13 14:47:12.851456
- Title: Fully Trainable Deep Differentiable Logic Gate Networks and Lookup Table Networks
- Title（参考訳）: 完全学習可能な深い微分可能な論理ゲートネットワークとルックアップテーブルネットワーク
- Authors: Wout Mommen, Lars Keuninckx, Matthias Hartmann, Werner Van Leekwijck, Piet Wambacq,
- Abstract要約: 微分可能論理ゲートネットワーク(LGN)とルックアップテーブルネットワーク(LUTN)におけるコネクションの部分的および完全最適化手法を提案する。
トレーニング方法は、ゲート/ルックアップテーブル(LUT)入力ピン当たりの接続の集合に対する確率分布を利用して、最大値の接続を選択する。
接続最適化LGNは,Yin-Yang,MNIST Handwriting Digits,Fashion-MNISTベンチマークにおいて標準固定接続LGNよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.33554367023486936
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a novel method for both partial and full optimization of the connections in deep differentiable logic gate networks (LGNs) and lookup table networks (LUTNs). Our training method utilizes a probability distribution over a set of connections per gate/lookup table (LUT) input pin, selecting the connection with highest merit, all whilst the optimal gate types or LUT-entries are learned in parallel. We show that the connection-optimized LGNs outperform standard fixed-connection LGNs on the Yin-Yang, MNIST Handwritten Digits and Fashion-MNIST benchmarks, while requiring only a fraction of the number of logic gates. We achieve 98.92% on the MNIST dataset with two layers of 8000 gates. With only one layer of 8000 gates, we obtain 98.45%, showing that our method requires almost 50 times fewer gates compared to fixed-connection LGNs. Training stability up to ten layers has been ensured by employing a high learning rate, straight-through estimators and trimming constant-output gate types. Additionally, we present a LUT neuron description that enables stable training with backpropagation, tested up to 6-layer deep networks. The model requires four times fewer trainable parameters and still achieves a higher accuracy compared to the fixed-connection LGN training algorithm. Our connection-training algorithm also works well for the LUTNs, achieving an accuracy of 98.88% for two layers of 2000 6-input LUTs.
- Abstract（参考訳）: 本稿では,深い微分可能な論理ゲートネットワーク (LGN) とルックアップテーブルネットワーク (LUTN) におけるコネクションの部分的および完全最適化手法を提案する。
学習方法は, ゲート/ルックアップテーブル (LUT) 入力ピン当たりの接続の集合に対する確率分布を利用して, 最適なゲートタイプやLUT-エントリを並列に学習しながら, 最大値の接続を選択する。
接続最適化LGNは,Yin-Yang,MNIST Handwriting Digits,Fashion-MNISTベンチマークにおいて標準固定接続LGNよりも優れており,論理ゲートの数が少ない。
8000ゲートの2層を持つMNISTデータセットで98.92%を達成する。
8000個のゲートの1層だけで98.45%を得ることができ、固定接続LGNの約50倍のゲートを必要とすることを示す。
学習速度、ストレートスルー推定器、定出力ゲートタイプをトリミングすることにより、最大10層までのトレーニング安定性が確保されている。
さらに, バックプロパゲーションによる安定したトレーニングを可能にするLUTニューロン記述を, 最大6層ディープネットワークで行う。
このモデルはトレーニング可能なパラメータを4倍少なくし、固定接続LGNトレーニングアルゴリズムよりも高い精度を達成する。
我々の接続訓練アルゴリズムはLUTNでもうまく機能し、2000の6入力LUTの2層に対して98.88%の精度を実現している。
関連論文リスト
- Inter-patient ECG Arrhythmia Classification with LGNs and LUTNs [0.5856479799932673]
LGNとLUTNは、患者間パラダイムを用いて心電図(ECG)の自動分類に適していることが示されている。
これらの手法はMIT-BIHの不整脈データセットを用いてベンチマークされ、最大94.28%の精度と4クラス分類問題で0.683ドルのインデックスが得られた。
論文 参考訳（メタデータ） (2026-01-16T16:55:36Z) - LILogic Net: Compact Logic Gate Networks with Learnable Connectivity for Efficient Hardware Deployment [0.0]
勾配に基づく手法を用いてバイナリ論理ゲートのネットワークをトレーニングする方法を示す。
特定のデータセットに適合するために必要な論理ゲートの数を大幅に削減する方法を示す。
256,000のゲートを持つ当社最大のアーキテクチャでは、LILogicNetはCIFAR-10で60.98%のテスト精度を実現しています。
論文 参考訳（メタデータ） (2025-11-15T19:44:37Z) - What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。
各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文 参考訳（メタデータ） (2025-10-13T16:31:50Z) - A Method for Optimizing Connections in Differentiable Logic Gate Networks [0.48212500317840945]
深い微分可能論理ゲートネットワーク(LGN)における接続部分最適化手法を提案する。
学習方法は,ゲート入力毎の接続のサブセットに対する確率分布を利用して,最大値の接続を選択し,その後にゲートタイプを選択する。
接続最適化LGNは,Yin-Yang,MNIST,Fashion-MNISTベンチマークにおいて標準固定接続LGNよりも優れており,論理ゲートの数はごくわずかである。
論文 参考訳（メタデータ） (2025-07-08T16:53:39Z) - SparseLUT: Sparse Connectivity Optimization for Lookup Table-based Deep Neural Networks [0.0]
本稿では,LUTベースのディープニューラルネットワーク(DNN)に適した接続中心トレーニング技術であるSparseLUTを紹介する。
実験の結果、ベンチマーク全体で一貫した精度の改善が見られ、MNISTは最大2.13%向上した。
これはハードウェアのオーバーヘッドを伴わずに実現され、LUTベースのDNNの最先端の結果が得られる。
論文 参考訳（メタデータ） (2025-03-17T05:21:54Z) - Convolutional Differentiable Logic Gate Networks [68.74313756770123]
本稿では,論理ゲートネットワークを微分緩和により直接学習する手法を提案する。
私たちはこのアイデアに基づいて、深い論理ゲートツリーの畳み込みと論理ORプーリングによってそれを拡張します。
CIFAR-10では、6100万の論理ゲートのみを使用して86.29%の精度を実現し、SOTAよりも29倍の精度で改善した。
論文 参考訳（メタデータ） (2024-11-07T14:12:00Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。
本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。
提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
論文 参考訳（メタデータ） (2024-02-29T16:10:21Z) - Hybrid-Task Meta-Learning: A GNN Approach for Scalable and Transferable Bandwidth Allocation [50.96751567777229]
ユーザ数に応じてスケーラブルで,異なる通信シナリオに転送可能な,ディープラーニングベースの帯域割り当てポリシを開発する。
スケーラビリティをサポートするために、帯域割り当てポリシーはグラフニューラルネットワーク(GNN)によって表現される。
我々は,GNNの初期パラメータを異なる通信シナリオで学習するハイブリッドタスクメタ学習(HML)アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-12-23T04:25:12Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。
各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。
提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文 参考訳（メタデータ） (2020-01-08T06:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。