論文の概要: Koopman Autoencoders Learn Neural Representation Dynamics

• arxiv url: http://arxiv.org/abs/2505.12809v1
• Date: Mon, 19 May 2025 07:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.470268
• Title: Koopman Autoencoders Learn Neural Representation Dynamics
• Title（参考訳）: クープマンオートエンコーダは神経表現ダイナミクスを学習する
• Authors: Nishant Suresh Aswani, Saif Eddin Jabari,
• Abstract要約: ネットワーク層を通しての神経表現の進化を捉えるために,クープマンオートエンコーダを導入する。 我々のアプローチは、ニューラル表現が入力から出力へどのように変換されるかを予測する代理モデルを学ぶ。 実践的な応用として,Yin-Yang と MNIST の分類タスクにおいて,我々のアプローチが対象クラスアンラーニングを実現する方法を示す。
• 参考スコア（独自算出の注目度）: 6.393645655578601
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper explores a simple question: can we model the internal transformations of a neural network using dynamical systems theory? We introduce Koopman autoencoders to capture how neural representations evolve through network layers, treating these representations as states in a dynamical system. Our approach learns a surrogate model that predicts how neural representations transform from input to output, with two key advantages. First, by way of lifting the original states via an autoencoder, it operates in a linear space, making editing the dynamics straightforward. Second, it preserves the topologies of the original representations by regularizing the autoencoding objective. We demonstrate that these surrogate models naturally replicate the progressive topological simplification observed in neural networks. As a practical application, we show how our approach enables targeted class unlearning in the Yin-Yang and MNIST classification tasks.
• Abstract（参考訳）: 本稿では,力学系理論を用いてニューラルネットワークの内部変換をモデル化できるのか? ネットワーク層を通して神経表現がどのように進化するかを捉えるために、クープマンオートエンコーダを導入し、これらの表現を動的システムにおける状態として扱う。 我々のアプローチは、ニューラル表現が入力から出力へどのように変換されるかを予測する代理モデルを学ぶ。 まず、オートエンコーダを介して元の状態を持ち上げることで、線形空間で動作し、ダイナミックスの編集が簡単になる。 第二に、自動符号化の目的を正規化することで、元の表現のトポロジを保存する。 これらのサロゲートモデルは、ニューラルネットワークで観察される進行的なトポロジカルな単純化を自然に再現できることを実証する。 実践的な応用として,Yin-Yang と MNIST の分類タスクにおいて,我々のアプローチが対象クラスアンラーニングを実現する方法を示す。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Generalizable Neural Fields as Partially Observed Neural Processes [16.202109517569145]
  本稿では,ニューラル表現の大規模トレーニングを部分的に観察されたニューラルプロセスフレームワークの一部として考える新しいパラダイムを提案する。 このアプローチは、最先端の勾配に基づくメタラーニングアプローチとハイパーネットワークアプローチの両方より優れていることを実証する。
  論文  参考訳（メタデータ） (2023-09-13T01:22:16Z)
• NAR-Former V2: Rethinking Transformer for Universal Neural Network Representation Learning [25.197394237526865]
  本稿では,トランスフォーマーに基づく汎用ニューラルネットワーク表現学習モデル NAR-Former V2 を提案する。 具体的には、ネットワークをグラフとして取り、簡単なトークン化器を設計して、ネットワークをシーケンスにエンコードする。 我々は,GNNの帰納的表現学習能力をTransformerに組み込んだ。
  論文  参考訳（メタデータ） (2023-06-19T09:11:04Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
  科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。 本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。 提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
  論文  参考訳（メタデータ） (2022-08-11T20:17:02Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Neural Cellular Automata Manifold [84.08170531451006]
  ニューラルセルラーオートマタのニューラルネットワークアーキテクチャは、より大きなNNにカプセル化可能であることを示す。 これにより、NAAの多様体を符号化する新しいモデルを提案し、それぞれが異なる画像を生成することができる。 生物学的には、我々のアプローチは転写因子の役割を担い、細胞の分化を促進する特定のタンパク質への遺伝子マッピングを調節する。
  論文  参考訳（メタデータ） (2020-06-22T11:41:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。