論文の概要: Convergence of Spectral Principal Paths: How Deep Networks Distill Linear Representations from Noisy Inputs

• arxiv url: http://arxiv.org/abs/2506.08543v1
• Date: Tue, 10 Jun 2025 08:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:41.865652
• Title: Convergence of Spectral Principal Paths: How Deep Networks Distill Linear Representations from Noisy Inputs
• Title（参考訳）: スペクトル主経路の収束:雑音入力による深部ネットワークの線形表現の拡散
• Authors: Bowei Tian, Xuntao Lyu, Meng Liu, Hongyi Wang, Ang Li,
• Abstract要約: ハイレベルな表現は、AIの透明性と制御を強化することの中心となり、個々のニューロンや回路から人間の解釈可能な概念に沿った構造化されたセマンティックな方向へと注目を移している。 線形表現仮説 (LRH) によって動機付けられた入力空間線形性仮説 (ISLH) を提案する。 次に、スペクトル主経路(SPP)フレームワークを導入し、より深いネットワークが支配的なスペクトル方向の小さなセットに沿って線形表現を段階的に蒸留する方法を定式化する。
• 参考スコア（独自算出の注目度）: 17.987141330832582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-level representations have become a central focus in enhancing AI transparency and control, shifting attention from individual neurons or circuits to structured semantic directions that align with human-interpretable concepts. Motivated by the Linear Representation Hypothesis (LRH), we propose the Input-Space Linearity Hypothesis (ISLH), which posits that concept-aligned directions originate in the input space and are selectively amplified with increasing depth. We then introduce the Spectral Principal Path (SPP) framework, which formalizes how deep networks progressively distill linear representations along a small set of dominant spectral directions. Building on this framework, we further demonstrate the multimodal robustness of these representations in Vision-Language Models (VLMs). By bridging theoretical insights with empirical validation, this work advances a structured theory of representation formation in deep networks, paving the way for improving AI robustness, fairness, and transparency.
• Abstract（参考訳）: ハイレベルな表現は、AIの透明性と制御を強化することの中心となり、個々のニューロンや回路から人間の解釈可能な概念に沿った構造化されたセマンティックな方向へと注目を移している。 線形表現仮説 (LRH) によって動機付けられた入力空間線形性仮説 (ISLH) を提案する。 次に、スペクトル主経路(SPP)フレームワークを導入し、より深いネットワークが支配的なスペクトル方向の小さなセットに沿って線形表現を段階的に蒸留する方法を定式化する。 この枠組みに基づいて、視覚言語モデル(VLM)におけるこれらの表現のマルチモーダルロバスト性をさらに実証する。 この研究は、実証的な検証で理論的洞察をブリッジすることで、ディープネットワークにおける表現の形成に関する構造化理論を前進させ、AIの堅牢性、公正性、透明性を改善するための道を開く。

関連論文リスト

• Why Representation Engineering Works: A Theoretical and Empirical Study in Vision-Language Models [17.987141330832582]
  我々は、主固有ベクトルを用いて層間における神経活動の安定性を説明する理論的枠組みを開発する。 この研究はRepE(Representation Engineering)を構造化された理論フレームワークに変換し、AIの堅牢性、公正性、透明性を改善するための新たな方向性を開く。
  論文  参考訳（メタデータ） (2025-03-25T20:32:15Z)
• Approaching Deep Learning through the Spectral Dynamics of Weights [41.948042468042374]
  重みのスペクトル力学 -- 最適化中の特異値とベクトルの振る舞い -- は、ディープラーニングにおけるいくつかの現象を明確にし、統一する。 ConvNetによる画像分類,UNetsによる画像生成,LSTMによる音声認識,Transformersによる言語モデリングなど,さまざまな実験における最適化における一貫したバイアスを同定する。
  論文  参考訳（メタデータ） (2024-08-21T17:48:01Z)
• Learned Image Reasoning Prior Penetrates Deep Unfolding Network for Panchromatic and Multi-Spectral Image Fusion [45.28120834593148]
  本稿では,パンシャーピング作業に適した画像推論を行う新しいモデル駆動型深層展開フレームワークを提案する。 我々のフレームワークは、洞察に富んだデザインでマスキングされたオートエンコーダのコンテンツ推論能力によって動機付けられている。 私たちのフレームワークのユニークな点は、全体論的学習プロセスが、パン・シャーピングタスクの根底にある固有の物理的メカニズムと明確に統合されていることです。
  論文  参考訳（メタデータ） (2023-08-30T15:15:31Z)
• Unsupervised Interpretable Basis Extraction for Concept-Based Visual Explanations [53.973055975918655]
  提案手法を用いて抽出したベースに変換すると,中間層表現がより解釈可能であることを示す。 提案手法は,提案手法を教師付きアプローチから抽出したベースと,教師付き手法から抽出したベースを比較した結果,教師なし手法は教師付き手法の限界を構成する強みを有し,今後の研究の方向性を示す。
  論文  参考訳（メタデータ） (2023-03-19T00:37:19Z)
• Guiding the PLMs with Semantic Anchors as Intermediate Supervision: Towards Interpretable Semantic Parsing [57.11806632758607]
  本稿では,既存の事前学習言語モデルを階層型デコーダネットワークに組み込むことを提案する。 第一原理構造をセマンティックアンカーとすることで、2つの新しい中間管理タスクを提案する。 いくつかのセマンティック解析ベンチマークで集中的な実験を行い、我々のアプローチがベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-10-04T07:27:29Z)
• USegScene: Unsupervised Learning of Depth, Optical Flow and Ego-Motion with Semantic Guidance and Coupled Networks [31.600708674008384]
  UegSceneは、ステレオカメラ画像の奥行き、光学的流れ、エゴモーション推定を意味的に導くためのフレームワークである。 一般的なKITTIデータセットを用いて,提案手法が他の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-15T13:25:47Z)
• Discovering "Semantics" in Super-Resolution Networks [54.45509260681529]
  超解像(SR)は低レベルの視覚領域の基本的で代表的な課題である。 一般に、SRネットワークから抽出された特徴は特定の意味情報を持たないと考えられている。 SRネットワークで「セマンティック」を見つけることはできますか?
  論文  参考訳（メタデータ） (2021-08-01T09:12:44Z)
• The Principles of Deep Learning Theory [19.33681537640272]
  この本は、実践的妥当性の深いニューラルネットワークを理解するための効果的な理論アプローチを開発する。 これらのネットワークがトレーニングから非自明な表現を効果的に学習する方法について説明する。 トレーニングネットワークのアンサンブルの有効モデル複雑性を,奥行き比が支配していることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:00:00Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。