論文の概要: When Does Pruning Benefit Vision Representations?

• arxiv url: http://arxiv.org/abs/2507.01722v1
• Date: Wed, 02 Jul 2025 13:57:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:23:00.273675
• Title: When Does Pruning Benefit Vision Representations?
• Title（参考訳）: Pruning Benefit Vision Representationsはいつになるのか?
• Authors: Enrico Cassano, Riccardo Renzulli, Andrea Bragagnolo, Marco Grangetto,
• Abstract要約: プルーニングは深層学習モデルの複雑さを軽減するために広く用いられているが、解釈可能性や表現学習への影響はいまだに理解されていない。 本稿では,3つの重要な次元,すなわち (i) 解釈可能性, (ii) 教師なし物体発見, (iii) 人間の知覚との整合性において,プルーニングが視覚モデルにどのように影響するかを考察する。
• 参考スコア（独自算出の注目度）: 6.306016476757605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning is widely used to reduce the complexity of deep learning models, but its effects on interpretability and representation learning remain poorly understood. This paper investigates how pruning influences vision models across three key dimensions: (i) interpretability, (ii) unsupervised object discovery, and (iii) alignment with human perception. We first analyze different vision network architectures to examine how varying sparsity levels affect feature attribution interpretability methods. Additionally, we explore whether pruning promotes more succinct and structured representations, potentially improving unsupervised object discovery by discarding redundant information while preserving essential features. Finally, we assess whether pruning enhances the alignment between model representations and human perception, investigating whether sparser models focus on more discriminative features similarly to humans. Our findings also reveal the presence of sweet spots, where sparse models exhibit higher interpretability, downstream generalization and human alignment. However, these spots highly depend on the network architectures and their size in terms of trainable parameters. Our results suggest a complex interplay between these three dimensions, highlighting the importance of investigating when and how pruning benefits vision representations.
• Abstract（参考訳）: プルーニングは深層学習モデルの複雑さを軽減するために広く用いられているが、解釈可能性や表現学習への影響はいまだに理解されていない。 本稿では3つの重要な次元にわたる視覚モデルにプルーニングがどう影響するかを考察する。 訳語 解釈性;解釈性 (二 監督対象発見、及び (三)人間の知覚に沿うこと。 まず、異なる視覚ネットワークアーキテクチャを解析し、様々な空間レベルが特徴属性の解釈可能性にどのように影響するかを検討する。 さらに, プルーニングがより簡潔かつ構造化された表現を促進し, 重要な特徴を保ちながら冗長な情報を捨てることで, 教師なしオブジェクト発見を改善する可能性についても検討する。 最後に,プルーニングがモデル表現と人間の知覚の整合性を高め,スペーサーモデルが人間と同じような差別的特徴に注目するかどうかを検討する。 また, スパースモデルでは, より高い解釈性, 下流の一般化, 人間のアライメントを示すスイートスポットの存在が明らかとなった。 しかし、これらのスポットはトレーニング可能なパラメータの観点からネットワークアーキテクチャとそのサイズに大きく依存する。 以上の結果から,これらの3次元間の複雑な相互作用が示唆される。

関連論文リスト

• When Does Perceptual Alignment Benefit Vision Representations? [76.32336818860965]
  視覚モデル表現と人間の知覚的判断との整合がユーザビリティに与える影響について検討する。 モデルと知覚的判断を一致させることで、多くの下流タスクで元のバックボーンを改善する表現が得られることがわかった。 その結果,人間の知覚的知識に関する帰納バイアスを視覚モデルに注入することは,より良い表現に寄与することが示唆された。
  論文  参考訳（メタデータ） (2024-10-14T17:59:58Z)
• The Paradox of Motion: Evidence for Spurious Correlations in Skeleton-based Gait Recognition Models [4.089889918897877]
  本研究は、視覚に基づく歩行認識が主に動きパターンに依存しているという一般的な仮定に挑戦する。 高さ情報の除去が顕著な性能低下につながることを比較分析により示す。 本研究では,時間的情報を無視して個々のポーズを処理する空間変換器モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-13T09:33:12Z)
• Unveiling the Potential of Probabilistic Embeddings in Self-Supervised Learning [4.124934010794795]
  自己教師付き学習は、ラベルのないデータから意味のある表現をモデルが取得できるようにすることで、機械学習を前進させる上で重要な役割を担っている。 本稿では,情報ボトルネックに対する確率的モデリングの影響について検討し,情報圧縮と情報保存のトレードオフについて述べる。 以上の結果から,損失空間に新たなボトルネックを導入することにより,アウト・オブ・ディストリビューションの事例を検出する能力が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2023-10-27T12:01:16Z)
• Exploring the Representation Manifolds of Stable Diffusion Through the Lens of Intrinsic Dimension [0.0]
  安定拡散のプロンプトによって誘導される基本幾何学的性質を理解するための第一歩を踏み出す。 我々は,プロンプトの選択がモデルの両層における表現の本質的な次元に重大な影響を与えることを発見した。 我々の証拠は、本質的な次元は、異なるプロンプトがテキスト・ツー・イメージモデルに与える影響について将来の研究に有用なツールになり得ることを示唆している。
  論文  参考訳（メタデータ） (2023-02-16T16:22:30Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)
• Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
  対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。 特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
  論文  参考訳（メタデータ） (2022-07-15T14:57:33Z)
• "Understanding Robustness Lottery": A Geometric Visual Comparative Analysis of Neural Network Pruning Approaches [29.048660060344574]
  この研究は、異なるプルーニング手法がネットワークの内部的特徴表現とそれに伴うモデルパフォーマンスへの影響をどのように変化させるかを明らかにすることを目的としている。 モデル性能と特徴表現に対するプルーニングの影響を比較・強調するために,特徴表現の視覚幾何学的解析を導入する。 提案ツールは,プルーニング手法の詳細な比較環境と,一般的なデータ破損に対するモデル応答の包括的理解を提供する。
  論文  参考訳（メタデータ） (2022-06-16T04:44:13Z)
• Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
  我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。 これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
  論文  参考訳（メタデータ） (2021-09-08T17:33:54Z)
• Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds [109.0016923028653]
  局所構造とグローバル形状の双方向推論による点雲表現を人間の監督なしに学習する。 本研究では, 実世界の3次元オブジェクト分類データセットにおいて, 教師なしモデルが最先端の教師付き手法を超越していることを示す。
  論文  参考訳（メタデータ） (2020-03-29T08:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。