論文の概要: CosineGate: Semantic Dynamic Routing via Cosine Incompatibility in Residual Networks

• arxiv url: http://arxiv.org/abs/2512.22206v1
• Date: Sun, 21 Dec 2025 18:26:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.886468
• Title: CosineGate: Semantic Dynamic Routing via Cosine Incompatibility in Residual Networks
• Title（参考訳）: CosineGate: 残留ネットワークにおけるCosine不整合によるセマンティック動的ルーティング
• Authors: Yogeswar Reddy Thota,
• Abstract要約: 残余ネットワークにおける動的ルーティングのためのエンドツーエンドの微分可能なアーキテクチャであるCosineGateを紹介する。 CosineGateは、自己教師型スキップ信号としてアイデンティティと残像表現のコサイン非互換性を使用する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep residual networks perform substantial redundant computation by evaluating all residual blocks for every input, even when identity mappings suffice. We introduce CosineGate, an end-to-end differentiable architecture for dynamic routing in residual networks that uses cosine incompatibility between identity and residual feature representations as a self-supervised skip signal. CosineGate measures semantic redundancy through the Cosine Incompatibility Ratio (CIR), defined as 1 - cos(x, F(x)), and uses Gumbel-Softmax relaxation to enable per-sample, per-block gating during training. A progressive FLOPs regularization term controls average compute usage without destabilizing optimization. On CIFAR-10, CosineGate spans the accuracy-efficiency Pareto frontier: an aggressive configuration achieves 89.9 percent accuracy with 24.1 percent FLOPs savings, a balanced configuration achieves 91.3 percent accuracy with 28.5 percent savings at epoch 160, and a conservative configuration reaches a peak of 93.2 percent accuracy with minimal compute reduction. These results match or exceed ResNet-20 (91.3 percent) while reducing computation, without auxiliary supervision, distillation, or task-specific heuristics. Our results demonstrate that simple geometric measures of feature incompatibility provide a principled and effective signal for dynamic residual routing.
• Abstract（参考訳）: 現在のディープ残差ネットワークは、アイデンティティマッピングが十分である場合でも、全ての入力に対する残差ブロックを評価することで、かなりの冗長な計算を行う。 我々はCosineGateを紹介した。CosineGateは残余ネットワークにおける動的ルーティングのためのエンドツーエンドの微分可能なアーキテクチャで、自己教師付きスキップ信号としてアイデンティティと残像表現のコサイン不整合性を利用する。 CosineGateは1-cos(x, F(x))として定義されたCosine Incompatibility Ratio (CIR)を通じて意味的冗長度を測定し、Gumbel-Softmax緩和を使用してトレーニング中にサンプルごとのブロックごとのゲーティングを可能にする。 プログレッシブFLOPs正規化項は、最適化を不安定にすることなく平均計算使用量を制御する。 CIFAR-10では、CosineGateは精度と効率の面でParetoフロンティアにまたがっている:攻撃的な構成は89.9%の精度で24.1%のFLOPを節約し、バランスの取れた構成は91.3%の精度で28.5%の節約を達成し、保守的な構成は93.2%の精度で最小の計算削減を達成している。 これらの結果はResNet-20 (91.3%) と一致し、補助的な監督、蒸留、タスク固有のヒューリスティックを使わずに計算を減らした。 この結果から,特徴量不整合性の簡易な幾何的測度は,動的残差ルーティングの原理的かつ効果的な信号となることが示唆された。

関連論文リスト

• FORTRESS: Function-composition Optimized Real-Time Resilient Structural Segmentation via Kolmogorov-Arnold Enhanced Spatial Attention Networks [1.663204995903499]
  FORTRESS (Function-composition Optimized Real-Time Resilient Structure) は、特別な手法を用いて精度と速度のバランスをとる新しいアーキテクチャである。 Fortressには,系統的に分離可能な畳み込みフレームワーク,適応型TiKAN統合,マルチスケールアテンション融合という,3つの重要なイノベーションが含まれている。 このアーキテクチャは 91% のパラメータ還元 (31M から 2.9M) 、91% の計算複雑性低減 (13.7 から 1.17 GFLOPs) 、および 3倍の推論速度向上によって、顕著な効率向上を実現している。
  論文  参考訳（メタデータ） (2025-07-16T23:17:58Z)
• Signal Collapse in One-Shot Pruning: When Sparse Models Fail to Distinguish Neural Representations [2.209921757303168]
  重み選択を最適化するのではなく、緩和信号の崩壊がプルーニングネットワークの精度向上の鍵であることを示す。 トレーニング可能な重みを更新することなく,信号の崩壊に対処するREFLOWを提案する。 我々は、ResNeXt101の精度をImageNetで4.1%未満から78.9%に復元し、重量の20%しか残っていない。
  論文  参考訳（メタデータ） (2025-02-18T15:47:33Z)
• Towards Generalized Entropic Sparsification for Convolutional Neural Networks [0.0]
  畳み込みニューラルネットワーク(CNN)は過度にパラメータ化されていると報告されている。 本稿では,計算可能エントロピー緩和を目的とした数学的アイデアに基づく層間データ駆動プルーニング手法を提案する。 スパースサブネットワークは、ネットワークエントロピー最小化をスペーサ性制約として使用した、事前訓練された(フル)CNNから得られる。
  論文  参考訳（メタデータ） (2024-04-06T21:33:39Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)
• Robust Learning via Persistency of Excitation [4.674053902991301]
  勾配勾配勾配を用いたネットワークトレーニングは力学系パラメータ推定問題と等価であることを示す。 極値理論を用いて対応するリプシッツ定数を推定する効率的な手法を提案する。 我々の手法は、様々な最先端の対数訓練モデルにおいて、対数精度を0.1%から0.3%に普遍的に向上させる。
  論文  参考訳（メタデータ） (2021-06-03T18:49:05Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Enabling certification of verification-agnostic networks via memory-efficient semidefinite programming [97.40955121478716]
  本稿では,ネットワークアクティベーションの総数にのみ線形なメモリを必要とする一階二重SDPアルゴリズムを提案する。 L-inf の精度は 1% から 88% ,6% から 40% に改善した。 また,変分オートエンコーダの復号器に対する2次安定性仕様の厳密な検証を行った。
  論文  参考訳（メタデータ） (2020-10-22T12:32:29Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)
• ReActNet: Towards Precise Binary Neural Network with Generalized Activation Functions [76.05981545084738]
  本稿では,新たな計算コストを伴わずに,実数値ネットワークからの精度ギャップを埋めるため,バイナリネットワークを強化するためのいくつかのアイデアを提案する。 まず,パラメータフリーのショートカットを用いて,コンパクトな実数値ネットワークを修正・バイナライズすることで,ベースラインネットワークを構築する。 提案したReActNetはすべての最先端技術よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-07T02:12:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。