論文の概要: Task complexity shapes internal representations and robustness in neural networks
- arxiv url: http://arxiv.org/abs/2508.05463v1
- Date: Thu, 07 Aug 2025 15:02:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.914789
- Title: Task complexity shapes internal representations and robustness in neural networks
- Title（参考訳）: タスク複雑性はニューラルネットワークの内部表現とロバスト性を形成する
- Authors: Robert Jankowski, Filippo Radicchi, M. Ángeles Serrano, Marián Boguñá, Santo Fortunato,
- Abstract要約: ハードタスクモデルにおけるバイナライズ重みは精度を低下させるが、簡単なタスクモデルは頑健であることを示す。
また、二項化ハードタスクモデルにおける低次エッジのプルーニングは、性能の急激な位相遷移を示す。
これらの現象は、タスク複雑性のモデルおよびモダリティに依存しない尺度を定義する。
- 参考スコア（独自算出の注目度）: 0.504868948270058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks excel across a wide range of tasks, yet remain black boxes. In particular, how their internal representations are shaped by the complexity of the input data and the problems they solve remains obscure. In this work, we introduce a suite of five data-agnostic probes-pruning, binarization, noise injection, sign flipping, and bipartite network randomization-to quantify how task difficulty influences the topology and robustness of representations in multilayer perceptrons (MLPs). MLPs are represented as signed, weighted bipartite graphs from a network science perspective. We contrast easy and hard classification tasks on the MNIST and Fashion-MNIST datasets. We show that binarizing weights in hard-task models collapses accuracy to chance, whereas easy-task models remain robust. We also find that pruning low-magnitude edges in binarized hard-task models reveals a sharp phase-transition in performance. Moreover, moderate noise injection can enhance accuracy, resembling a stochastic-resonance effect linked to optimal sign flips of small-magnitude weights. Finally, preserving only the sign structure-instead of precise weight magnitudes-through bipartite network randomizations suffices to maintain high accuracy. These phenomena define a model- and modality-agnostic measure of task complexity: the performance gap between full-precision and binarized or shuffled neural network performance. Our findings highlight the crucial role of signed bipartite topology in learned representations and suggest practical strategies for model compression and interpretability that align with task complexity.
- Abstract（参考訳）: ニューラルネットワークは幅広いタスクを網羅するが、ブラックボックスは残る。
特に、それらの内部表現が、入力データの複雑さとそれらが解決する問題によってどのように形成されているかは、いまだに不明である。
本研究では,マルチ層パーセプトロン(MLP)における表現のトポロジとロバスト性に影響を与えるタスクの難易度を定量化するため,データに依存しない5つのプローブ群,バイナライズ,ノイズ注入,シグネチャフリップ,二部ネットワークランダム化を提案する。
MLPは、ネットワーク科学の観点から符号付き重み付き二部グラフとして表現される。
我々は,MNISTデータセットとFashion-MNISTデータセットの容易かつ難しい分類タスクを対比する。
ハードタスクモデルにおけるバイナライズ重みは精度を低下させるが、簡単なタスクモデルは頑健であることを示す。
また、二項化ハードタスクモデルにおける低次エッジのプルーニングは、性能の急激な位相遷移を示す。
さらに、中程度のノイズ注入は、小さなマグニチュード重みの最適符号フリップと結びついた確率共振効果に類似した精度を高めることができる。
最後に、正確な重み付けの代用として符号構造のみを保存することは、高い精度を維持するのに十分である。
これらの現象は、完全な精度と二項化またはシャッフルされたニューラルネットワーク性能の間のパフォーマンスギャップという、タスク複雑性のモデルおよびモダリティに依存しない尺度を定義する。
本研究は,学習表現における署名付き二部構成トポロジの重要な役割を強調し,タスクの複雑さに対応するモデル圧縮と解釈可能性のための実践的戦略を提案する。
関連論文リスト
- Understanding Generalization, Robustness, and Interpretability in Low-Capacity Neural Networks [0.0]
低容量ネットワークにおけるキャパシティ、スパシティ、ロバスト性を調査するためのフレームワークを導入する。
トレーニングされたネットワークは、極大プルーニング(最大95%の間隔)に対して堅牢であることを示す。
この研究は、単純なニューラルネットワークを管理するトレードオフの明確で実証的なデモンストレーションを提供する。
論文 参考訳（メタデータ） (2025-07-22T06:43:03Z) - Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。
ネットワークが強力なデータ依存機能を取得することを示す。
驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文 参考訳（メタデータ） (2024-06-24T14:50:05Z) - Human-Guided Complexity-Controlled Abstractions [30.38996929410352]
我々は、離散表現のスペクトルを生成し、複雑さを制御するためにニューラルネットワークを訓練する。
タスクに適した複雑性レベルに表現をチューニングすることは、最高の微調整性能をサポートすることを示す。
以上の結果から,人間の洞察を生かしてモデルファインタニングを迅速化するための有望な方向性が示唆された。
論文 参考訳（メタデータ） (2023-10-26T16:45:34Z) - Quantifying lottery tickets under label noise: accuracy, calibration,
and complexity [6.232071870655069]
ディープニューラルネットワークのプルーニングは、機械学習の計算負担を軽減するために広く利用されている戦略である。
スパース二重降下法を用いて一意的に同定し,分類タスクに付随するプルーンドモデルを特徴付ける。
論文 参考訳（メタデータ） (2023-06-21T11:35:59Z) - Establishment of Neural Networks Robust to Label Noise [0.0]
本稿では,関連ラベルノイズ手法の基本概念について検討した。
遷移行列推定器が作成され、実際の遷移行列に対する効果が示されている。
複雑な畳み込みニューラルネットワークモデルを正しく調整できないため、遷移行列ノイズ補正が堅牢性向上に与える影響を効率よく示すことはできない。
論文 参考訳（メタデータ） (2022-11-28T13:07:23Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Distributionally Robust Semi-Supervised Learning Over Graphs [68.29280230284712]
グラフ構造化データに対する半教師付き学習(SSL)は、多くのネットワークサイエンスアプリケーションに現れる。
グラフ上の学習を効率的に管理するために,近年,グラフニューラルネットワーク(GNN)の変種が開発されている。
実際に成功したにも拘わらず、既存の手法のほとんどは、不確実な結節属性を持つグラフを扱うことができない。
ノイズ測定によって得られたデータに関連する分布の不確実性によっても問題が発生する。
分散ロバストな学習フレームワークを開発し,摂動に対する定量的ロバスト性を示すモデルを訓練する。
論文 参考訳（メタデータ） (2021-10-20T14:23:54Z) - Mitigating Performance Saturation in Neural Marked Point Processes:
Architectures and Loss Functions [50.674773358075015]
本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。
我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
論文 参考訳（メタデータ） (2021-07-07T16:59:14Z) - Pairwise Relation Learning for Semi-supervised Gland Segmentation [90.45303394358493]
病理組織像における腺分節に対するPRS2モデルを提案する。
このモデルはセグメンテーションネットワーク(S-Net)とペア関係ネットワーク(PR-Net)から構成される。
我々は,GlaSデータセットの最近の5つの手法とCRAGデータセットの最近の3つの手法を比較した。
論文 参考訳（メタデータ） (2020-08-06T15:02:38Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。