論文の概要: LLN: Learnable Lens Networks for Parameter-Efficient Long-Horizon Dynamical Prediction

• arxiv url: http://arxiv.org/abs/2609.34493v1
• Date: Mon, 28 Sep 2026 07:43:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 13:01:12.129992
• Title: LLN: Learnable Lens Networks for Parameter-Efficient Long-Horizon Dynamical Prediction
• Title（参考訳）: LLN:パラメータ効率のよい長軸動的予測のための学習可能なレンズネットワーク
• Abstract要約: 本稿では,直接的特徴空間残差蓄積を学習可能な光輸送に置き換える物理に着想を得たアーキテクチャであるLearnerable Lens Networks(LLN)を紹介する。 LLN輸送は全世界的に可逆であり、任意の異なるレンズ場に対して体積保存可能である。 多様な力学系における実験により、LLNは同一深度コンパレータよりもかなり少ないパラメータを使用しながら、長水平予測を改善することが示されている。
• 参考スコア（独自算出の注目度）: 8.305093373349935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explicit residual connections of the form (x+f(x)), often combined with normalization layers, have become a standard strategy for training very deep neural networks. However, residual addition primarily provides an algebraic shortcut for gradient propagation, while leaving the evolution of feature geometry across layers largely unconstrained. We introduce Learnable Lens Networks (LLN), a physics-inspired architecture that replaces direct feature-space residual accumulation with learnable optical transport in an augmented position-angle phase space. Each layer alternates between free propagation, which provides an implicit transport path, and a learnable lens field that performs nonlinear trajectory transformation and focusing. Theoretically, we establish that LLN transport is globally invertible and volume-preserving for any differentiable lens field, with the implemented coordinate-wise Gaussian transport further satisfying symplecticity. Importantly, these structural constraints do not limit expressivity: with unrestricted embeddings and readouts, LLN retain universal approximation of continuous end-to-end maps. Experiments across diverse dynamical systems demonstrate that LLN improves long-horizon prediction while using substantially fewer parameters than same-depth comparators. Further analysis reveals stable depth-wise gradient transport and interpretable learned dynamics under the coupled propagation and refraction design.
• Abstract（参考訳）: 形式(x+f(x))の残余接続を正規化層と組み合わせることが、非常に深いニューラルネットワークを訓練するための標準的な戦略となっている。 しかし、残余付加は、主に勾配伝播のための代数的ショートカットを提供する一方で、層間の特徴幾何学の進化は、ほとんど拘束されないままである。 本稿では,物理に着想を得たLearnerable Lens Networks (LLN) を紹介した。 各層は、暗黙の伝達経路を提供する自由伝搬と、非線形軌道変換と焦点付けを行う学習可能なレンズ場とを交互に行う。 理論的には、LLN輸送が世界規模で可逆であり、任意の微分可能なレンズ場に対して体積保存可能であることを証明し、座標ワイドガウス輸送がシンプレクティック性をさらに満足する。 重要なことに、これらの構造的制約は表現性を制限しない: 制限のない埋め込みと読み出しにより、LLNは連続した終端写像の普遍近似を保持する。 多様な力学系における実験により、LLNは同一深度コンパレータよりもかなり少ないパラメータを使用しながら、長水平予測を改善することが示されている。 さらなる解析により、安定な深度勾配輸送と、複合伝搬および屈折設計下での解釈可能な学習力学が明らかにされる。

関連論文リスト

• Structured Neural SDEs for Functional Calibration [1.2107297090229683]
  構造化線形層から構築されたニューラルSDEモデルのファミリーであるSLiSDEを紹介する。 層レベルでパラレル・イン・タイム・シミュレーションを行い, ゲート・イン・フロー・スタックリングにより表現性を回復する。 機能キャリブレーションベンチマークの実験では、構造化されたモデルは完全な神経性SDEベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2026-09-28T10:25:03Z)
• When Both Layers Learn: Training Dynamics of Representing Linear Models via ReLU Networks [22.81761236732655]
  線形対象関数に適合する1層ReLUネットワークの両層を協調的にトレーニングするための勾配勾配ダイナミクスについて検討した。 本分析では, 隠れ重みが植え付け方向と漸進的に一致し, 出力重みが正しい符号パターンを維持できるアライメントフェーズを3つのフェーズで追跡する。 我々は,全軌道に沿って保持される新しい一様濃度結果を確立し,次々に最適な試料の複雑性を得るのに不可欠である。
  論文  参考訳（メタデータ） (2026-06-03T05:44:30Z)
• Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology [0.0]
  トレーニングでは,大規模言語モデルにおいて,深度を経た単調スペクトル勾配を推定する。 実験の結果、この勾配と次元の崩壊は建築というよりむしろ学習されていることが明らかとなった。 これらの結果は、摂動伝播と圧縮をネットワークの機能的トポロジーにリンクするLLMの学習されたスペクトル幾何学をマッピングする。
  論文  参考訳（メタデータ） (2026-05-14T01:57:47Z)
• UltraLIF: Fully Differentiable Spiking Neural Networks via Ultradiscretization and Max-Plus Algebra [0.0]
  Spiking Neural Networks (SNN) は、エネルギー効率が高く、生物学的に妥当な計算を提供するが、非微分可能なスパイク生成に苦しむ。 シュロゲート勾配を超離散化に置き換える原理的なフレームワークであるUltraLIFを紹介する。 静的画像、ニューロモルフィック視覚、オーディオにまたがる6つのベンチマークの実験では、サロゲート勾配ベースラインよりも改善が示されている。
  論文  参考訳（メタデータ） (2026-02-10T18:21:54Z)
• MirrorLA: Reflecting Feature Map for Vision Linear Attention [49.41670925034762]
  リニアアテンションはトランスフォーマーの2次から線形への計算複雑性を著しく低下させるが、パフォーマンスにおけるソフトマックスに基づくアテンションの遅れは一貫して遅れる。 我々は、受動トランケーションをアクティブなリオリエンテーションに置き換える幾何学的枠組みであるMirrorLAを提案する。 MirrorLAは標準的なベンチマークで最先端のパフォーマンスを実現し、表現の忠実さを損なうことなく厳密な線形効率を実現できることを示した。
  論文  参考訳（メタデータ） (2026-02-04T09:14:09Z)
• Peri-LN: Revisiting Normalization Layer in the Transformer Architecture [57.08322913112157]
  Pre-LNとPost-LNは、大規模なトレーニングの制限にもかかわらず、長年にわたってプラクティスを支配してきた。 最近、いくつかのオープンソースモデルが静かに第3の戦略を採用し始めた。 Peri-LNは、よりバランスの取れた分散成長、より安定な勾配流、収束安定性を実現する。
  論文  参考訳（メタデータ） (2025-02-04T21:29:47Z)
• Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
  最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。 トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
  論文  参考訳（メタデータ） (2024-03-12T07:32:47Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。