論文の概要: On the Depth Scalability of Logic Gate Networks
- arxiv url: http://arxiv.org/abs/2607.21633v1
- Date: Sun, 19 Jul 2026 20:11:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:56.929857
- Title: On the Depth Scalability of Logic Gate Networks
- Title（参考訳）: 論理ゲートネットワークの深さ拡張性について
- Abstract要約: 入出力論理ゲートネットワーク(IALGN)について紹介する。
IALGNは100層を超えて一貫した固定幅深度-精度の向上を実現していることを示す。
これらの結果から,LGNにおける拡張性は,安定な最適化と情報アクセスパターンの両方を必要とすることが示された。
- 参考スコア（独自算出の注目度）: 8.615180964202992
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Logic Gate Networks (LGNs) implement computation through compositions of Boolean operations, yet unlike classical Boolean circuits, existing LGNs do not reliably benefit from increased depth. We identify two distinct causes: optimization collapse in deep relaxed LGNs and a topology-induced limitation that persists even when skip-biased initialization and straight-through estimation stabilize training. Thus, trainability alone is insufficient; deeper layers must also receive information that supports useful computation. We introduce Input-Anchored Logic Gate Networks (IALGNs), in which each gate combines an evolving hidden feature with a direct input anchor. This topology preserves a computational spine while conditioning every layer on the original input. We show that a depth-D path can depend on up to D+1 input bits and establish a strict path-wise depth hierarchy. Random-k anchor relaxation further improves anchor selection without relaxing the spine. Across MNIST, CIFAR-10, and CIFAR-100, IALGNs achieve consistent fixed-width depth--accuracy improvements beyond 100 layers, whereas alternative LGN topologies saturate or degrade. Layer-wise probes, topology ablations, and effective-depth analysis show that input anchoring produces progressively more informative representations and preserves longer computational paths. These results demonstrate that scalable depth in LGNs requires both stable optimization and an information-access pattern that supports input-conditioned refinement.
- Abstract（参考訳）: Logic Gate Networks (LGN) はBoolean演算の合成による計算を実装しているが、従来のBoolean回路とは異なり、既存のLGNは深さの増大によって確実に恩恵を受けない。
深い緩和LGNの最適化崩壊と、スキップバイアス初期化やストレートスルー推定安定化トレーニングにおいても持続するトポロジによる制限の2つの原因を同定した。
したがって、トレーニング容易性だけでは不十分であり、より深いレイヤは有用な計算をサポートする情報も受け取らなければならない。
本稿では、各ゲートが進化する隠れた特徴と直接入力アンカーを結合する、入出力論理ゲートネットワーク(IALGN)を紹介する。
このトポロジーは、元の入力上のすべての層を条件付けしながら計算スピンを保存する。
深さD経路は最大D+1入力ビットに依存し、厳密な経路幅の深さ階層を確立することができることを示す。
ランダム-kアンカー緩和は、スピンを緩和することなくアンカー選択をさらに改善する。
MNIST、CIFAR-10、CIFAR-100の他、IALGNは100層を超えて一貫した固定幅深度精度の向上を実現している。
レイヤワイズプローブ、トポロジ・アブレーション、有効深度解析は、入力アンカーが徐々に情報的な表現を生み出し、より長い計算経路を保存することを示している。
これらの結果から,LGNにおける拡張性深度は,安定な最適化と入力条件改善をサポートする情報アクセスパターンの両方を必要とすることが示された。
関連論文リスト
- EI-DDLGN: Efficient Encrypted Inference with Deep Differentiable Logic Gate Networks under TFHE [0.0]
EI-DDLGNはTFHEに基づくDDLGN推論の詳細な研究である。
セマンティクス保存型実行戦略である Model-Fixed-Wire PBS Bypass も導入する。
MNIST, FashionMNIST, UCI Phishing における72の深さ幅構成に対する評価の結果, DDLGN が TFHE 推論の効率的な代替となることが示された。
論文 参考訳（メタデータ） (2026-09-12T01:00:19Z) - Provable FDR Control for Deep Feature Selection: Deep MLPs and Beyond [0.0]
深層ニューラルネットワークに基づくフレキシブルな特徴選択フレームワークを開発し,FDR(False discovery rate)を概ね制御する。
勾配に基づく特徴ベクトルの各座標は、限界正規近似を許容し、FDR制御の有効性を支持することを示す。
論文 参考訳（メタデータ） (2025-12-04T11:46:06Z) - Light Differentiable Logic Gate Networks [28.844098517315228]
微分論理ゲートネットワーク(DLGN)は、競合精度を保ちながら、推論において極めて効率が高い。
しかし、勾配の消失、離散化エラー、高いトレーニングコストは、これらのネットワークのスケーリングを妨げる。
これらの問題の根本原因は論理ゲートニューロン自体のパラメトリゼーションにあることを示す。
論文 参考訳（メタデータ） (2025-09-26T04:44:51Z) - NeuraLUT: Hiding Neural Network Density in Boolean Synthesizable Functions [2.7086888205833968]
Field-Programmable Gate Array (FPGA)アクセラレータは、レイテンシとリソースクリティカルなDeep Neural Network (DNN)推論タスクの処理に成功している。
本稿では、ニューロンの境界を緩和し、サブネットワーク全体を単一のLUTにマッピングすることを提案する。
提案手法は,既知の遅延クリティカルタスク,ジェットサブストラクチャタグ,古典的コンピュータビジョンタスク,MNISTを用いた桁分類で検証する。
論文 参考訳（メタデータ） (2024-02-29T16:10:21Z) - Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。
本稿では,手話の使用を排除したRGDアルゴリズムを提案する。
提案したRGDアルゴリズムの有効性は実験で広く実証されている。
論文 参考訳（メタデータ） (2023-12-03T02:26:58Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - DDPG-Driven Deep-Unfolding with Adaptive Depth for Channel Estimation
with Sparse Bayesian Learning [23.158142411929322]
まず,異なる入力に対して適応的な深さを持つDDPG(Deep Deterministic Policy gradient)駆動のディープアンフォールディングの枠組みを開発する。
具体的には,大規模マルチインプットマルチアウトプットシステムにおけるチャネル推定問題に対処するために,このフレームワークを用いる。
論文 参考訳（メタデータ） (2022-01-20T22:35:42Z) - GDP: Stabilized Neural Network Pruning via Gates with Differentiable
Polarization [84.57695474130273]
ゲートベースまたは重要度に基づくプルーニング手法は、重要度が最小のチャネルを削除することを目的としている。
GDPは、各チャネルのオン・アンド・オフを制御するために、ベルやホイッスルのない畳み込み層の前に接続することができる。
CIFAR-10とImageNetデータセットを用いて行った実験は、提案したGDPが最先端のパフォーマンスを達成することを示している。
論文 参考訳（メタデータ） (2021-09-06T03:17:10Z) - Solving Sparse Linear Inverse Problems in Communication Systems: A Deep
Learning Approach With Adaptive Depth [51.40441097625201]
疎信号回復問題に対するエンドツーエンドの訓練可能なディープラーニングアーキテクチャを提案する。
提案手法は,出力するレイヤ数を学習し,各タスクのネットワーク深さを推論フェーズで動的に調整する。
論文 参考訳（メタデータ） (2020-10-29T06:32:53Z) - Faster Depth-Adaptive Transformers [71.20237659479703]
深さ適応型ニューラルネットワークは入力単語の硬さに応じて動的に深さを調整することができる。
従来の作業は一般的に、計算が各レイヤで続行するか停止するかを決定するために停止ユニットを構築する。
本稿では,停止ユニットを除去し,必要な深さを事前に推定し,より高速な深度適応モデルを生成する。
論文 参考訳（メタデータ） (2020-04-27T15:08:10Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳（メタデータ） (2020-03-30T17:59:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。