論文の概要: ODE-ViT: Plug & Play Attention Layer from the Generalization of the ViT as an Ordinary Differential Equation

• arxiv url: http://arxiv.org/abs/2511.16501v1
• Date: Thu, 20 Nov 2025 16:19:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-21 17:08:52.715995
• Title: ODE-ViT: Plug & Play Attention Layer from the Generalization of the ViT as an Ordinary Differential Equation
• Title（参考訳）: ODE-ViT: ViT を正規微分方程式として一般化したプラグアンドプレイアテンション層
• Authors: Carlos Boned Riera, David Romero Sanchez, Oriol Ramos Terrades,
• Abstract要約: 本稿では,動的に安定な条件を満たすビジョン変換器ODE-ViTを紹介する。 CIFAR-10とCIFAR-100の実験では、ODE-ViTは最大1桁のパラメータで安定で、解釈可能で、競争的な性能を達成することを示した。
• 参考スコア（独自算出の注目度）: 2.0973843981871574
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years, increasingly large models have achieved outstanding performance across CV tasks. However, these models demand substantial computational resources and storage, and their growing complexity limits our understanding of how they make decisions. Most of these architectures rely on the attention mechanism within Transformer-based designs. Building upon the connection between residual neural networks and ordinary differential equations (ODEs), we introduce ODE-ViT, a Vision Transformer reformulated as an ODE system that satisfies the conditions for well-posed and stable dynamics. Experiments on CIFAR-10 and CIFAR-100 demonstrate that ODE-ViT achieves stable, interpretable, and competitive performance with up to one order of magnitude fewer parameters, surpassing prior ODE-based Transformer approaches in classification tasks. We further propose a plug-and-play teacher-student framework in which a discrete ViT guides the continuous trajectory of ODE-ViT by treating the intermediate representations of the teacher as solutions of the ODE. This strategy improves performance by more than 10% compared to training a free ODE-ViT from scratch.
• Abstract（参考訳）: 近年,CVタスクにおける大規模モデルの性能向上が目覚ましい。 しかし、これらのモデルには相当量の計算資源とストレージが必要であり、その複雑さが増すにつれて、意思決定の仕方に対する理解が制限される。 これらのアーキテクチャのほとんどは、Transformerベースの設計における注意機構に依存している。 残差ニューラルネットワークと常微分方程式(ODE)の接続を基礎として, 高度で安定な動的条件を満たす ODE システムとして再構成された視覚変換器 ODE-ViT を導入する。 CIFAR-10とCIFAR-100の実験では、ODE-ViTは最大1桁のパラメータで安定し、解釈可能で、競合する性能を達成し、従来のODEベースのトランスフォーマーの手法をはるかに上回っている。 さらに,教師の中間表現をODEの解として扱うことにより,個別のViTがODE-ViTの連続的軌道を案内するプラグイン・アンド・プレイ型学習フレームワークを提案する。 この戦略は、無料のODE-ViTをゼロからトレーニングするよりも10%以上パフォーマンスを改善する。

関連論文リスト

• KAN-ODEs: Kolmogorov-Arnold Network Ordinary Differential Equations for Learning Dynamical Systems and Hidden Physics [0.0]
  コルモゴロフ・アルノルドネットワーク(KAN)は多層パーセプトロン(MLP)の代替品である この研究は、Kansをニューラル常微分方程式(ODE)フレームワークのバックボーンとして適用する。
  論文  参考訳（メタデータ） (2024-07-05T00:38:49Z)
• CViT: Continuous Vision Transformer for Operator Learning [24.1795082775376]
  連続ビジョントランスフォーマー(Continuous Vision Transformer、CViT)は、コンピュータビジョンの進歩を活用して複雑な物理システムを学ぶ際の課題に対処する、新しい神経オペレーターアーキテクチャである。 CViTは、ビジョントランスフォーマーエンコーダ、新しいグリッドベースの座標埋め込み、マルチスケール依存関係を効果的にキャプチャするクエリワイドのクロスアテンション機構を組み合わせたものである。 本研究では, 流体力学, 気候モデル, 反応拡散過程を含む多種多様な偏微分方程式(PDE)システムにおけるCViTの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-22T21:13:23Z)
• On the Trajectory Regularity of ODE-based Diffusion Sampling [79.17334230868693]
  拡散に基づく生成モデルは微分方程式を用いて、複素データ分布と抽出可能な事前分布の間の滑らかな接続を確立する。 本稿では,拡散モデルのODEに基づくサンプリングプロセスにおいて,いくつかの興味深い軌道特性を同定する。
  論文  参考訳（メタデータ） (2024-05-18T15:59:41Z)
• HSViT: Horizontally Scalable Vision Transformer [16.46308352393693]
  Vision Transformer (ViT) は大規模データセットの事前トレーニングが必要であり、パフォーマンスが向上する。 本稿では,新しい水平方向拡張型ビジョントランス (HSViT) 方式を提案する。 HSViTは、小さなデータセットの最先端スキームよりも最大10%高いトップ1精度を達成する。
  論文  参考訳（メタデータ） (2024-04-08T04:53:29Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• ODE Transformer: An Ordinary Differential Equation-Inspired Model for Neural Machine Translation [25.86053637998726]
  本稿では, Transformer の残層ブロックを ODE の高次解として記述できることを示す。 Transformerの自然な拡張として、ODE Transformerは実装が簡単で、パラメータが効率的です。
  論文  参考訳（メタデータ） (2021-04-06T06:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。