論文の概要: Exploring Superposition and Interference in State-of-the-Art Low-Parameter Vision Models

• arxiv url: http://arxiv.org/abs/2507.15798v1
• Date: Mon, 21 Jul 2025 16:57:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.496166
• Title: Exploring Superposition and Interference in State-of-the-Art Low-Parameter Vision Models
• Title（参考訳）: 最新低パラメータビジョンモデルにおける重ね合わせと干渉の探索
• Authors: Lilian Hollard, Lucas Mohimont, Nathalie Gaveau, Luiz-Angelo Steffenel,
• Abstract要約: ニューロンが同時に複数の特徴を符号化する重畳現象である特徴写像の干渉に対処する。 本研究は,超低スケールネットワーク(1.5Mパラメータ下で)のスケーリングと精度を高めるために,干渉制限が有効であることを示唆している。 実験から得られた機械的知見に基づいて,ImageNetデータセット上での堅牢なスケーリング精度を実証した概念実証アーキテクチャであるNoDepth Bottleneckを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The paper investigates the performance of state-of-the-art low-parameter deep neural networks for computer vision, focusing on bottleneck architectures and their behavior using superlinear activation functions. We address interference in feature maps, a phenomenon associated with superposition, where neurons simultaneously encode multiple characteristics. Our research suggests that limiting interference can enhance scaling and accuracy in very low-scaled networks (under 1.5M parameters). We identify key design elements that reduce interference by examining various bottleneck architectures, leading to a more efficient neural network. Consequently, we propose a proof-of-concept architecture named NoDepth Bottleneck built on mechanistic insights from our experiments, demonstrating robust scaling accuracy on the ImageNet dataset. These findings contribute to more efficient and scalable neural networks for the low-parameter range and advance the understanding of bottlenecks in computer vision. https://caiac.pubpub.org/pub/3dh6rsel
• Abstract（参考訳）: 本稿では,コンピュータビジョンのための最先端低パラメータディープニューラルネットワークの性能について検討し,ボトルネックアーキテクチャとスーパーリニアアクティベーション関数を用いた動作に着目した。 ニューロンが同時に複数の特徴を符号化する重畳現象である特徴写像の干渉に対処する。 本研究は,超低スケールネットワーク(1.5Mパラメータ下で)のスケーリングと精度の向上が期待できることを示す。 我々は、様々なボトルネックアーキテクチャを調べることで干渉を減らす重要な設計要素を特定し、より効率的なニューラルネットワークを生み出す。 その結果,この実験から得られた機械的知見に基づいて,概念実証アーキテクチャのNoDepth Bottleneckを提案し,ImageNetデータセット上での堅牢なスケーリング精度を実証した。 これらの知見は、低パラメータ領域におけるより効率的でスケーラブルなニューラルネットワークの実現と、コンピュータビジョンにおけるボトルネックの理解の促進に寄与する。 https://caiac.pubpub.org/pub/3dh6rsel

関連論文リスト

• Beyond Scaling Curves: Internal Dynamics of Neural Networks Through the NTK Lens [0.5745241788717261]
  我々は、ニューラルネットワークがデータの下でどのように振る舞うかを経験的に分析し、ニューラル・タンジェント・カーネル(NTK)のレンズを通してモデルをスケーリングする。 我々の標準的な視覚タスクの発見は、内部モデル力学が逆の挙動を示すにもかかわらず、同様のパフォーマンススケーリング指数が生じることを示している。 また、無限幅制限への収束が有限幅モデルにおけるスケーリングの挙動にどのように影響するかという未解決のニューラルスケーリング問題にも対処する。
  論文  参考訳（メタデータ） (2025-07-07T14:17:44Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• Impact of spiking neurons leakages and network recurrences on event-based spatio-temporal pattern recognition [0.0]
  ニューロモルフィックハードウェアとイベントベースのセンサーを組み合わせたスパイクニューラルネットワークは、エッジにおける低レイテンシと低パワー推論への関心が高まっている。 スパイキングニューロンにおけるシナプスおよび膜漏れの影響について検討する。
  論文  参考訳（メタデータ） (2022-11-14T21:34:02Z)
• FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks [77.34726150561087]
  ニューラルネットワークの高次元景観特性を探索する方法を示す。 我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。 インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
  論文  参考訳（メタデータ） (2022-04-09T16:41:53Z)
• Vision Transformer with Convolutions Architecture Search [72.70461709267497]
  本稿では,畳み込み型アーキテクチャサーチ(VTCAS)を用いたアーキテクチャ探索手法を提案する。 VTCASによって探索された高性能バックボーンネットワークは、畳み込みニューラルネットワークの望ましい特徴をトランスフォーマーアーキテクチャに導入する。 これは、特に低照度屋内シーンにおいて、物体認識のためのニューラルネットワークの堅牢性を高める。
  論文  参考訳（メタデータ） (2022-03-20T02:59:51Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Max and Coincidence Neurons in Neural Networks [0.07614628596146598]
  ニューラルアーキテクチャサーチを用いて、最大ニューロンと偶然ニューロンのモデルを含むネットワークを最適化する。 我々は、信号処理ResNetを開発するために最適化ネットワークの構造、動作、ニューロンを分析する。 開発されたネットワークは、精度が平均2%向上し、さまざまなデータセットでネットワークサイズが25%向上した。
  論文  参考訳（メタデータ） (2021-10-04T07:13:50Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• Information contraction in noisy binary neural networks and its implications [11.742803725197506]
  我々は、各ニューロンが不正な出力を発生させる確率がゼロでない、ノイズの多いバイナリニューラルネットワークを考察する。 私たちの重要な発見は、ノイズの多いニューラルネットワークで必要なニューロンの数が少ないことです。 本稿では,情報理論のレンズを通して,ノイズの多い情報処理システムに対する新たな理解を提供する。
  論文  参考訳（メタデータ） (2021-01-28T00:01:45Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• AttendNets: Tiny Deep Image Recognition Neural Networks for the Edge via Visual Attention Condensers [81.17461895644003]
  我々は、オンデバイス画像認識に適した、低精度でコンパクトなディープニューラルネットワークであるAttendNetsを紹介する。 AttendNetsは、視覚的注意の凝縮に基づく深い自己注意アーキテクチャを持っている。 その結果、AttendNetsは、いくつかのディープニューラルネットワークと比較して、アーキテクチャと計算の複雑さが著しく低いことが示された。
  論文  参考訳（メタデータ） (2020-09-30T01:53:17Z)
• HyNNA: Improved Performance for Neuromorphic Vision Sensor based Surveillance using Hybrid Neural Network Architecture [7.293414498855147]
  領域提案のための形態素画像処理アルゴリズムを用いて,最近提案されたハイブリッドイベントフレームアプローチを改善した。 また、様々な畳み込みニューラルネットワーク(CNN)アーキテクチャを探索することにより、オブジェクト検出と分類の低消費電力要求にも対処する。 具体的には、対象検出フレームワークから得られた結果を最先端の低出力NVS監視システムと比較し、63.1%から82.16%の改善精度を示した。
  論文  参考訳（メタデータ） (2020-03-19T07:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。