論文の概要: Overcoming Kernel Redundancy for Scaling Logic Gate Networks

• arxiv url: http://arxiv.org/abs/2610.01069v1
• Date: Thu, 01 Oct 2026 05:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.911394
• Title: Overcoming Kernel Redundancy for Scaling Logic Gate Networks
• Title（参考訳）: 論理ゲートネットワークのスケーリングにおけるカーネル冗長性の克服
• Abstract要約: 異なる論理ゲートネットワークは論理ゲートのみを使用して動作する。 本稿では,カーネルグループ間の特殊化を促進することにより,カーネル利用を再編成する動的論理カーネルフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.681187836538367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable logic gate networks, which operate using only logic gates, have recently attracted attention as an efficient alternative to conventional neural networks. However, despite their efficiency, the scaling behavior of logic gate networks remains underexplored. By contrast, scaling model capacity is a central design principle in deep neural networks and typically leads to improved performance. This discrepancy raises a key question: Can similar scaling benefits also be achieved in logic gate networks? In this work, we focus on width as a primary scaling axis and conduct a systematic analysis of its behavior in logic gate networks. We observe that naive width scaling often introduces redundancy among logic kernels, limiting the effective use of additional kernels and leading to performance saturation. To address this limitation, we propose a dynamic logic kernel framework that reorganizes kernel utilization by promoting specialization across kernel groups. This enables the network to better utilize increased width via input-dependent kernel routing, while ensuring that both routing and computation are implemented entirely with gate-level Boolean operations at inference time. We further find that kernel redundancy is most pronounced at the first gate level, motivating an early-stage dynamic logic kernel strategy that concentrates adaptation at this level. Experimental results demonstrate that our approach improves kernel utilization and increases kernel diversity, leading to higher accuracy with improved parameter efficiency.
• Abstract（参考訳）: 論理ゲートのみを用いた微分論理ゲートネットワークは,近年,従来のニューラルネットワークの代替として注目されている。 しかし、その効率性にもかかわらず、論理ゲートネットワークのスケーリングの挙動は未解明のままである。 対照的に、モデルキャパシティのスケーリングは、ディープニューラルネットワークにおける中心的な設計原則であり、一般的にはパフォーマンスの向上につながる。 同様のスケーリングのメリットは、論理ゲートネットワークでも達成できるのでしょうか? 本研究では,プライマリスケーリング軸としての幅に着目し,論理ゲートネットワークにおけるその挙動を体系的に解析する。 そこで本研究では,論理カーネル間の冗長性を導入し,追加カーネルの有効利用を制限し,性能の飽和を招いた。 この制限に対処するため,カーネルグループ間の特殊化を促進することでカーネル利用を再編成する動的論理カーネルフレームワークを提案する。 これにより、入力依存のカーネルルーティングを通じて、ネットワークの幅を拡大し、ルーティングと計算の両方が、推論時にゲートレベルのBoolean操作で完全に実装されることが保証される。 さらに、カーネルの冗長性は第1ゲートレベルで最も顕著であり、このレベルでの適応に集中する初期段階の動的論理カーネル戦略を動機付けている。 実験により,本手法はカーネル利用率を向上し,カーネルの多様性を向上し,パラメータ効率が向上した。

関連論文リスト

• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• From Kernels to Features: A Multi-Scale Adaptive Theory of Feature Learning [3.7857410821449755]
  本研究は,2つの視点を橋渡しする多段階適応型特徴学習の理論的枠組みを示す。 ネットワークの確率分布の体系的な拡張により、平均場スケーリングはサドル点近似のみを必要とすることが明らかになった。 線形および非線形ネットワークの場合、マルチスケール適応アプローチは指向性特徴学習効果をキャプチャする。
  論文  参考訳（メタデータ） (2025-02-05T14:26:50Z)
• Convolutional Differentiable Logic Gate Networks [68.74313756770123]
  本稿では,論理ゲートネットワークを微分緩和により直接学習する手法を提案する。 私たちはこのアイデアに基づいて、深い論理ゲートツリーの畳み込みと論理ORプーリングによってそれを拡張します。 CIFAR-10では、6100万の論理ゲートのみを使用して86.29%の精度を実現し、SOTAよりも29倍の精度で改善した。
  論文  参考訳（メタデータ） (2024-11-07T14:12:00Z)
• Towards Narrowing the Generalization Gap in Deep Boolean Networks [3.230778132936486]
  本稿では,従来のブリアンネットワークを越えつつ,ブリアンネットワークの深層化を図る戦略について検討する。 本稿では,論理的スキップ接続と空間性保持サンプリングを含む新しい手法を提案し,視覚タスクで検証する。 本稿では,1ビット論理演算による計算コストを最小化しながら,深いBooleanネットワークがハイパフォーマンスを維持する方法を示す。
  論文  参考訳（メタデータ） (2024-09-06T09:16:36Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Deep Differentiable Logic Gate Networks [29.75063301688965]
  論理ゲートの組み合わせを学習することで,機械学習タスクのための論理ゲートネットワークを探索する。 本稿では,実数値論理と連続パラメータ化されたネットワーク緩和を併用した微分可能な論理ゲートネットワークを提案する。 その結果、離散化された論理ゲートネットワークは、単一のCPUコア上で毎秒100万イメージのMNISTを超える高速な推論速度を達成する。
  論文  参考訳（メタデータ） (2022-10-15T12:50:04Z)
• Bandwidth-efficient distributed neural network architectures with application to body sensor networks [73.02174868813475]
  本稿では,分散ニューラルネットワークアーキテクチャを設計するための概念設計手法について述べる。 提案手法により,損失を最小限に抑えつつ,最大20倍の帯域幅削減が可能となることを示す。 本稿では,ウェアラブル脳-コンピュータインタフェースに焦点をあてるが,他のセンサネットワークアプリケーションにも適用できる。
  論文  参考訳（メタデータ） (2022-10-14T12:35:32Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。