論文の概要: The Sign Code: The Hidden Binary Nature of Deep Networks

• arxiv url: http://arxiv.org/abs/2610.23616v1
• Date: Fri, 16 Oct 2026 15:27:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.989652
• Title: The Sign Code: The Hidden Binary Nature of Deep Networks
• Title（参考訳）: The Sign Code:Deep Networksの隠れたバイナリな性質
• Abstract要約: 分類は符号コードや大きさに依存していることを示す。 このバイナリサインコードでのみ動作する$k$-nearest 隣の分類器は、フルモデルに匹敵する精度を達成する。 同じクラスの入力が類似の符号コードを共有する場合、モデルはよく一般化される。
• 参考スコア（独自算出の注目度）: 2.963192365615802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every neuron in a trained network outputs a number that can be separated into its sign (positive or negative) and its magnitude (absolute size). We call the set of all neuron signs the \textit{sign code}. This raises a key question: does classification depend more on the sign code or on the magnitudes? For overparameterized vision classifiers with sign-preserving activations, the answer is overwhelmingly the sign code. A $k$-nearest neighbor classifier operating only on this binary sign code achieves accuracy comparable to the full model across different architectures, activation functions, and datasets. Moreover, replacing all magnitudes in every layer with random noise while keeping the original signs barely changes residual network performance. In contrast, flipping just 20\% of the signs reduces accuracy to chance. Models generalize well when same-class inputs share similar sign codes. When this overlap is disrupted by a regularizer, training accuracy remains high, but test performance collapses. A margin decomposition helps explain these results: the sign-only contribution to each logit grows as $\sqrt{d}$ in network width, dominating the magnitude residual. The natural unit of analysis for these networks may not be through their continuous weight space but instead through their discrete sign codes.
• Abstract（参考訳）: 訓練されたネットワーク内の全てのニューロンは、その符号(正または負)と大きさ(絶対サイズ)に分離できる数値を出力する。 すべてのニューロンの符号の集合を \textit{sign code} と呼ぶ。 分類は符号コードや大きさに依存していますか? 符号保存アクティベーションを持つ過パラメータ化された視覚分類器の場合、答えは圧倒的に符号コードである。 このバイナリサインコードでのみ動作する$k$-nearestの隣の分類器は、異なるアーキテクチャ、アクティベーション関数、データセットにわたる完全なモデルに匹敵する精度を達成する。 さらに、各層の全ての大きさをランダムノイズで置き換え、元の符号を保ちながらネットワーク性能はわずかに変化しない。 対照的に、20倍の数字をめくるだけで精度が低下する。 同じクラスの入力が類似の符号コードを共有する場合、モデルはよく一般化される。 このオーバーラップが正規化器によって破壊される場合、トレーニング精度は高いが、テスト性能は低下する。 各ロジットへの符号のみの寄与は、ネットワーク幅において$\sqrt{d}$として成長し、大きさの残差を支配します。 これらのネットワークの自然な解析単位は、その連続的な重み空間ではなく、離散符号によるものである。

関連論文リスト

• Layer-wise Input Recoverability in Deep Neural Networks [5.452728209216755]
  我々は、畳み込みニューラルネットワークにおいて、レイヤの出力から、レイヤ自身の入力がどの程度回復可能かを研究する。 畳み込み層はそのフィルタを1つの入力パッチに一度に印加するので、再構成ベースのプローブを用いてサンプル入力パッチの復元性を評価する。 各層について,線形および線形余剰のMLPデコーダを用いて,事前学習,ランダム化,再構成最適化のエンコーダを比較した。
  論文  参考訳（メタデータ） (2026-10-09T20:12:17Z)
• SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval [20.105725837533722]
  textbfSignSeekは、手話によるクロスコーパス検索において、最先端のパフォーマンスを新たに設定する。 全く見えないBritish Sign Language (BSL) へのゼロショットの一般化を実現している。
  論文  参考訳（メタデータ） (2026-09-03T11:31:47Z)
• Physics-Informed Graph-Neural Decoding of the Surface Code: the Logical Signal as an Exact Topological Pairing [0.0]
  本研究では, 物理インフォームドグラフニューラルネットワーク(GNN)デコーダを開発し, シンドロームグラフ上の離散ポアソン方程式を解く。 本研究は,高調波(循環)部が同一に消失する純勾配流であることを示す。 このペアリングは, 2つの境界流の間に流れ込むネット電流から, 学習された読み出しパラメータを伴わず, 正確に, クローズドな形で評価されることが証明された。
  論文  参考訳（メタデータ） (2026-07-22T12:03:14Z)
• The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers [0.0]
  訓練された画像分類器が隠蔽層内で非対称性を再現するかどうかを問う。 PRISM2D、GFNet、ViT-B/16では、予測はフェーズまたはサインドナーに従っており、画像固有の大きさをすべて削除することは精度をほとんど動かさない。 アーキテクチャは相/符号の識別コードを共有するが、修正と読み出しの幾何によって設定された異なるベースで公開する。
  論文  参考訳（メタデータ） (2026-06-15T17:54:52Z)
• A Graph Sufficiency Perspective for Neural Networks [4.872570541276082]
  本稿では,グラフ変数と統計的十分性を用いてニューラルネットワークを解析する。 ニューラルネットワーク層をグラフベースの変換として解釈し、ニューロンが入力と学習アンカーポイントのペア機能として機能する。 我々のフレームワークは、完全に接続された層、一般的なペアワイズ関数、ReLUとシグモノイドの活性化、畳み込みニューラルネットワークを網羅している。
  論文  参考訳（メタデータ） (2025-07-14T12:31:47Z)
• SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding [56.079013202051094]
  ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:30:45Z)
• Localized Randomized Smoothing for Collective Robustness Certification [60.83383487495282]
  我々は、あらゆる種類のモデルに対してより一般的な集合的ロバスト性証明を提案する。 このアプローチは、より大規模なソフトな局所モデルに対して有益であることを示す。 この証明書は、我々の新しい局所的ランダム化平滑化アプローチに基づいている。
  論文  参考訳（メタデータ） (2022-10-28T14:10:24Z)
• Deep ensembles in bioimage segmentation [74.01883650587321]
  本研究では,畳み込みニューラルネットワーク(CNN)のアンサンブルを提案する。 アンサンブル法では、多くの異なるモデルが訓練され、分類に使用され、アンサンブルは単一分類器の出力を集約する。 提案するアンサンブルは,DeepLabV3+とHarDNet環境を用いて,異なるバックボーンネットワークを組み合わせることで実現されている。
  論文  参考訳（メタデータ） (2021-12-24T05:54:21Z)
• Neural networks behave as hash encoders: An empirical study [79.38436088982283]
  ReLUライクなアクティベーションを持つニューラルネットワークの入力空間は、複数の線形領域に分割される。 このパーティションは、さまざまなディープラーニングモデルで以下のエンコーディング特性を示すことを実証します。 K$-Means、$K$-NN、およびロジスティック回帰などの単純なアルゴリズムは、トレーニングデータとテストデータの両方でかなり優れたパフォーマンスを達成できます。
  論文  参考訳（メタデータ） (2021-01-14T07:50:40Z)
• Training Binary Neural Networks through Learning with Noisy Supervision [76.26677550127656]
  本稿では,ニューラルネットワーク上の二項化操作を学習の観点から定式化する。 ベンチマークデータセットの実験結果から,提案手法がベースラインよりも一貫した改善を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-10-10T01:59:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。