論文の概要: Internal Representations of Vision Models Through the Lens of Frames on Data Manifolds

• arxiv url: http://arxiv.org/abs/2211.10558v2
• Date: Wed, 6 Dec 2023 17:36:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 19:23:22.535663
• Title: Internal Representations of Vision Models Through the Lens of Frames on Data Manifolds
• Title（参考訳）: データマニフォールド上のフレームレンズによる視覚モデルの内部表現
• Authors: Henry Kvinge, Grayson Jorgenson, Davis Brown, Charles Godfrey, Tegan Emerson
• Abstract要約: 多様体の接束上のフレームの概念から着想を得た、そのような表現を研究するための新しいアプローチを提案する。 私たちの構成は、ニューラルネットワークフレームと呼ばれ、データポイントの特定の種類の摂動を表すベクトルの集合を組み立てることによって形成されます。 ニューラルフレームを用いて、データポイントの小さな近傍でモデル、層間、特定の変動モードの処理方法について観察する。
• 参考スコア（独自算出の注目度）: 8.67467876089153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the last five years have seen considerable progress in understanding the internal representations of deep learning models, many questions remain. This is especially true when trying to understand the impact of model design choices, such as model architecture or training algorithm, on hidden representation geometry and dynamics. In this work we present a new approach to studying such representations inspired by the idea of a frame on the tangent bundle of a manifold. Our construction, which we call a neural frame, is formed by assembling a set of vectors representing specific types of perturbations of a data point, for example infinitesimal augmentations, noise perturbations, or perturbations produced by a generative model, and studying how these change as they pass through a network. Using neural frames, we make observations about the way that models process, layer-by-layer, specific modes of variation within a small neighborhood of a datapoint. Our results provide new perspectives on a number of phenomena, such as the manner in which training with augmentation produces model invariance or the proposed trade-off between adversarial training and model generalization.
• Abstract（参考訳）: 過去5年間、ディープラーニングモデルの内部表現の理解にかなりの進歩があったが、多くの疑問が残っている。 モデルアーキテクチャやトレーニングアルゴリズムといったモデル設計の選択が隠れた表現幾何学やダイナミクスに与える影響を理解しようとする場合、これは特に当てはまる。 本稿では,そのような表現を多様体の接束上のフレームの考え方に着想を得た新しい手法を提案する。 我々の構成はニューラルフレームと呼ばれ、データポイントの特定の種類の摂動を表すベクトルの集合(例えば、無限小拡張、ノイズ摂動、あるいは生成モデルによって生成された摂動)を組み立て、それらがネットワークを通過するときにどのように変化するかを研究する。 ニューラルフレームを用いて、データポイントの小さな近傍でモデルが処理する方法、レイヤー・バイ・レイヤ、特定の変動モードについて観察する。 本研究は, 強化学習がモデル不変性を生み出す方法や, 対戦型トレーニングとモデル一般化のトレードオフなど, 様々な現象に対する新たな視点を提供する。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Masked Modeling for Self-supervised Representation Learning on Vision and Beyond [69.64364187449773]
  仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。 マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。 我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
  論文  参考訳（メタデータ） (2023-12-31T12:03:21Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Unifying Generative Models with GFlowNets [85.38102320953551]
  本稿では, 既存の深層生成モデルとGFlowNetフレームワークの関連性について, 重なり合う特性に光を当てて概説する。 これは、トレーニングと推論アルゴリズムを統一する手段を提供し、生成モデルの集合を構築するためのルートを提供する。
  論文  参考訳（メタデータ） (2022-09-06T15:52:51Z)
• Geometric and Topological Inference for Deep Representations of Complex Networks [13.173307471333619]
  我々は、トポロジと表現の幾何学を強調する統計のクラスを提示する。 モデル選択に使用する場合の感度と特異性の観点から,これらの統計値を評価する。 これらの新しい手法により、脳やコンピューター科学者は、脳やモデルによって学習された動的表現変換を可視化することができる。
  論文  参考訳（メタデータ） (2022-03-10T17:14:14Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• A Visual Analytics Framework for Explaining and Diagnosing Transfer Learning Processes [42.57604833160855]
  本稿では,深層ニューラルネットワークの学習における伝達学習プロセスの多段階探索のための視覚分析フレームワークを提案する。 本フレームワークは,ニューラルネットワークの深層学習において,既存のモデルから学習した知識がどのように新たな学習タスクに変換されるかを説明するために,マルチアスペクト設計を確立する。
  論文  参考訳（メタデータ） (2020-09-15T05:59:00Z)
• Network Bending: Expressive Manipulation of Deep Generative Models [0.2062593640149624]
  ネットワーク曲げと呼ばれる深層生成モデルを操作するための新しいフレームワークを提案する。 生成過程において意味論的に意味のある側面を直接操作できるだけでなく、幅広い表現的な結果を得ることができるかを示す。
  論文  参考訳（メタデータ） (2020-05-25T21:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。