Fugu-MT 論文翻訳(概要): Extraction of linearized models from pre-trained networks via knowledge distillation

論文の概要: Extraction of linearized models from pre-trained networks via knowledge distillation

arxiv url: http://arxiv.org/abs/2604.06732v1
Date: Wed, 08 Apr 2026 06:53:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-09 17:30:51.376197
Title: Extraction of linearized models from pre-trained networks via knowledge distillation
Title（参考訳）: 知識蒸留による事前学習ネットワークからの線形化モデルの抽出
Authors: Fumito Kimura, Jun Ohkubo,
Abstract要約: 本稿では,事前学習されたニューラルネットワークから線形化モデルを抽出して分類処理を行うフレームワークを提案する。提案手法は, 分類精度と数値安定性の両方において, 従来最小二乗法に基づくクープマン近似より一貫して優れる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent developments in hardware, such as photonic integrated circuits and optical devices, are driving demand for research on constructing machine learning architectures tailored for linear operations. Hence, it is valuable to explore methods for constructing learning machines with only linear operations after simple nonlinear preprocessing. In this study, we propose a framework to extract a linearized model from a pre-trained neural network for classification tasks by integrating Koopman operator theory with knowledge distillation. Numerical demonstrations on the MNIST and the Fashion-MNIST datasets reveal that the proposed model consistently outperforms the conventional least-squares-based Koopman approximation in both classification accuracy and numerical stability.
Abstract（参考訳）: フォトニック集積回路や光デバイスなどのハードウェアの最近の発展は、線形操作に適した機械学習アーキテクチャの構築研究の需要を喚起している。したがって、単純な非線形前処理の後、線形演算しか行わない学習機械を構築する方法を検討することは重要である。本研究では,知識蒸留とクープマン作用素理論を統合することにより,事前学習したニューラルネットワークから線形化モデルを抽出する枠組みを提案する。 MNIST データセットと Fashion-MNIST データセットの数値実験により,提案モデルが従来の最小二乗法に基づくクープマン近似を,分類精度と数値安定性の両方で一貫して上回っていることが明らかとなった。

関連論文リスト

Optimal Linear Baseline Models for Scientific Machine Learning [37.69303106863453]
我々は線形エンコーダ・デコーダアーキテクチャを解析するための統一的理論フレームワークを開発した。我々は、フォワードモデリングと逆リカバリタスクのための閉形式、階数制約付き線形最適写像を導出する。この研究は、科学的機械学習問題に対する学習ニューラルネットワークモデルの理解とベンチマークのための堅牢なベースラインを提供する。
論文参考訳（メタデータ） (2025-08-07T20:17:07Z)
Efficient Parametric SVD of Koopman Operator for Stochastic Dynamical Systems [51.54065545849027]
クープマン作用素は非線形力学系を解析するための原理的なフレームワークを提供する。 VAMPnet と DPNet はクープマン作用素の主特異部分空間を学ぶために提案されている。我々は、クープマン作用素のトップ$kの特異関数を学ぶためのスケーラブルで概念的にシンプルな方法を提案する。
論文参考訳（メタデータ） (2025-07-09T18:55:48Z)
Certified Neural Approximations of Nonlinear Dynamics [51.01318247729693]
安全クリティカルな文脈では、神経近似の使用は、基礎となるシステムとの密接性に公式な境界を必要とする。本稿では,認証された一階述語モデルに基づく新しい,適応的で並列化可能な検証手法を提案する。
論文参考訳（メタデータ） (2025-05-21T13:22:20Z)
Manifold meta-learning for reduced-complexity neural system identification [1.0276024900942875]
低次元多様体を発見するメタラーニングフレームワークを提案する。この多様体は、関連する力学系のクラスによって生成される入力出力シーケンスのメタデータセットから学習される。両レベルメタラーニングアプローチとは異なり,本手法では,学習多様体に直接データセットをマッピングする補助的ニューラルネットワークを用いる。
論文参考訳（メタデータ） (2025-04-16T06:49:56Z)
Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。 3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文参考訳（メタデータ） (2024-10-31T22:54:34Z)
Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文参考訳（メタデータ） (2024-03-04T23:12:42Z)
Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
論文参考訳（メタデータ） (2024-01-16T17:07:22Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
論文参考訳（メタデータ） (2021-06-08T09:13:34Z)
Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文参考訳（メタデータ） (2021-01-21T01:46:36Z)
Learning Queuing Networks by Recurrent Neural Networks [0.0]
データから性能モデルを導出する機械学習手法を提案する。我々は、通常の微分方程式のコンパクトな系の観点から、それらの平均力学の決定論的近似を利用する。これにより、ニューラルネットワークの解釈可能な構造が可能になり、システム測定からトレーニングしてホワイトボックスパラメータ化モデルを生成することができる。
論文参考訳（メタデータ） (2020-02-25T10:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。