論文の概要: Neural frames: A Tool for Studying the Tangent Bundles Underlying Image Datasets and How Deep Learning Models Process Them

• arxiv url: http://arxiv.org/abs/2211.10558v1
• Date: Sat, 19 Nov 2022 01:48:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:46:56.236943
• Title: Neural frames: A Tool for Studying the Tangent Bundles Underlying Image Datasets and How Deep Learning Models Process Them
• Title（参考訳）: neural frames: 基盤となるイメージデータセットの接バンドルと、ディープラーニングモデルによる処理方法を研究するツール
• Authors: Henry Kvinge, Grayson Jorgenson, Davis Brown, Charles Godfrey, Tegan Emerson
• Abstract要約: データ多様体ネットワークの局所的な近傍を探索するツールであるニューラルフレームを導入する。 ニューラルフレームの数学的枠組みを提示し,その性質について考察する。 次に、それらを使用して、モデルの局所的な振る舞いに近代的なモデルアーキテクチャとトレーニングルーチン、例えば重い拡張や敵対的トレーニングがどのように影響するかを観察する。
• 参考スコア（独自算出の注目度）: 1.2984519159674524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The assumption that many forms of high-dimensional data, such as images, actually live on low-dimensional manifolds, sometimes known as the manifold hypothesis, underlies much of our intuition for how and why deep learning works. Despite the central role that they play in our intuition, data manifolds are surprisingly hard to measure in the case of high-dimensional, sparsely sampled image datasets. This is particularly frustrating since the capability to measure data manifolds would provide a revealing window into the inner workings and dynamics of deep learning models. Motivated by this, we introduce neural frames, a novel and easy to use tool inspired by the notion of a frame from differential geometry. Neural frames can be used to explore the local neighborhoods of data manifolds as they pass through the hidden layers of neural networks even when one only has a single datapoint available. We present a mathematical framework for neural frames and explore some of their properties. We then use them to make a range of observations about how modern model architectures and training routines, such as heavy augmentation and adversarial training, affect the local behavior of a model.
• Abstract（参考訳）: 画像のような高次元データの多くの形式が、しばしば多様体仮説として知られる低次元多様体上に存在するという仮定は、ディープラーニングがどのように、なぜ機能するのかという我々の直観の根底にある。 我々の直感の中心的な役割にもかかわらず、高次元でまばらなサンプル画像データセットの場合、データ多様体は驚くほど難しい。 データ多様体を計測する能力は、ディープラーニングモデルの内部動作とダイナミクスに明らかな窓を提供するため、これは特にいらいらする。 そこで本研究では, 微分幾何学からのフレーム概念に触発された, 新しく, 使いやすいツールであるneural framesを紹介する。 ニューラルネットワークは、単一のデータポイントしか持たない場合でも、ニューラルネットワークの隠れた層を通過するデータ多様体の局所的な近傍を探索するために使用できる。 ニューラルフレームの数学的枠組みを提案し,その性質について考察する。 次に、それらを使用して、現代のモデルアーキテクチャとトレーニングルーチン、例えば重い強化や敵対的なトレーニングがモデルのローカルな振る舞いにどのように影響するかを観察します。

関連論文リスト

• Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
  その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
  論文  参考訳（メタデータ） (2024-10-31T22:54:34Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Masked Modeling for Self-supervised Representation Learning on Vision and Beyond [69.64364187449773]
  仮面モデリングは、トレーニング中に比例的にマスキングされる元のデータの一部を予測する、独特なアプローチとして現れてきた。 マスクモデリングにおけるテクニックの詳細については,多様なマスキング戦略,ターゲット回復,ネットワークアーキテクチャなどについて詳述する。 我々は、現在の手法の限界について議論し、マスクモデリング研究を進めるためのいくつかの道のりを指摘した。
  論文  参考訳（メタデータ） (2023-12-31T12:03:21Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Unifying Generative Models with GFlowNets [85.38102320953551]
  本稿では, 既存の深層生成モデルとGFlowNetフレームワークの関連性について, 重なり合う特性に光を当てて概説する。 これは、トレーニングと推論アルゴリズムを統一する手段を提供し、生成モデルの集合を構築するためのルートを提供する。
  論文  参考訳（メタデータ） (2022-09-06T15:52:51Z)
• Geometric and Topological Inference for Deep Representations of Complex Networks [13.173307471333619]
  我々は、トポロジと表現の幾何学を強調する統計のクラスを提示する。 モデル選択に使用する場合の感度と特異性の観点から,これらの統計値を評価する。 これらの新しい手法により、脳やコンピューター科学者は、脳やモデルによって学習された動的表現変換を可視化することができる。
  論文  参考訳（メタデータ） (2022-03-10T17:14:14Z)
• Explainable Adversarial Attacks in Deep Neural Networks Using Activation Profiles [69.9674326582747]
  本稿では,敵対的事例に基づくニューラルネットワークモデルを検討するためのビジュアルフレームワークを提案する。 これらの要素を観察することで、モデル内の悪用領域を素早く特定できることを示す。
  論文  参考訳（メタデータ） (2021-03-18T13:04:21Z)
• A Visual Analytics Framework for Explaining and Diagnosing Transfer Learning Processes [42.57604833160855]
  本稿では,深層ニューラルネットワークの学習における伝達学習プロセスの多段階探索のための視覚分析フレームワークを提案する。 本フレームワークは,ニューラルネットワークの深層学習において,既存のモデルから学習した知識がどのように新たな学習タスクに変換されるかを説明するために,マルチアスペクト設計を確立する。
  論文  参考訳（メタデータ） (2020-09-15T05:59:00Z)
• Network Bending: Expressive Manipulation of Deep Generative Models [0.2062593640149624]
  ネットワーク曲げと呼ばれる深層生成モデルを操作するための新しいフレームワークを提案する。 生成過程において意味論的に意味のある側面を直接操作できるだけでなく、幅広い表現的な結果を得ることができるかを示す。
  論文  参考訳（メタデータ） (2020-05-25T21:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。