論文の概要: OCTANE -- Optimal Control for Tensor-based Autoencoder Network Emergence: Explicit Case

• arxiv url: http://arxiv.org/abs/2509.08169v1
• Date: Tue, 09 Sep 2025 22:11:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.2569
• Title: OCTANE -- Optimal Control for Tensor-based Autoencoder Network Emergence: Explicit Case
• Title（参考訳）: OCTANE -- Tensor-based Autoencoder Network Emergenceの最適制御-
• Authors: Ratna Khatri, Anthony Kolshorn, Colin Olson, Harbir Antil,
• Abstract要約: 本稿では,自己エンコーダ型ディープニューラルネットワークのための数学的に厳密なフレームワークを提案する。 これはメモリ効率のトレーニングとアーキテクチャの自動発見をもたらす。 フレームワークのユーティリティは、イメージのデノイングとデブロアリングタスクへのアプリケーションで説明されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel, mathematically rigorous framework for autoencoder-type deep neural networks that combines optimal control theory and low-rank tensor methods to yield memory-efficient training and automated architecture discovery. The learning task is formulated as an optimization problem constrained by differential equations representing the encoder and decoder components of the network and the corresponding optimality conditions are derived via a Lagrangian approach. Efficient memory compression is enabled by approximating differential equation solutions on low-rank tensor manifolds using an adaptive explicit integration scheme. These concepts are combined to form OCTANE (Optimal Control for Tensor-based Autoencoder Network Emergence) -- a unified training framework that yields compact autoencoder architectures, reduces memory usage, and enables effective learning, even with limited training data. The framework's utility is illustrated with application to image denoising and deblurring tasks and recommendations regarding governing hyperparameters are provided.
• Abstract（参考訳）: 本稿では、最適制御理論と低ランクテンソル法を組み合わせてメモリ効率のトレーニングと自動アーキテクチャ発見を行う、自己エンコーダ型ディープニューラルネットワークのための、数学的に厳密な新しいフレームワークを提案する。 学習課題は、ネットワークのエンコーダおよびデコーダ成分を表す微分方程式に制約された最適化問題として定式化され、対応する最適条件はラグランジュ的アプローチによって導出される。 適応的明示的積分スキームを用いて低ランクテンソル多様体上の微分方程式解を近似することにより、効率的なメモリ圧縮が可能となる。 OCTANE(Optimal Control for Tensor-based Autoencoder Network Emergence)は、コンパクトなオートエンコーダアーキテクチャを生成し、メモリ使用量を削減し、限られたトレーニングデータでも効果的な学習を可能にする統合トレーニングフレームワークである。 このフレームワークの実用性は、ハイパーパラメータの管理に関する課題や推奨事項を、画像のデノベーションやデブロアリングに応用して説明されている。

関連論文リスト

• Towards Constraint-Based Adaptive Hypergraph Learning for Solving Vehicle Routing: An End-to-End Solution [4.965709007367529]
  車両の経路問題は、広大な解空間と複雑な制約によって特徴づけられる。 本研究では,制約指向のハイパーグラフと強化学習を組み合わせた新しいエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-13T14:42:44Z)
• Unified Framework for Neural Network Compression via Decomposition and Optimal Rank Selection [3.3454373538792552]
  本稿では,決定された階数制約内での複合圧縮損失を利用して,分解と最適な階数選択を行う統一的な枠組みを提案する。 提案手法は連続空間におけるランクの自動探索を含み,トレーニングデータを用いることなく最適なランク設定を効率的に同定する。 様々なベンチマークデータセットを用いて,包括的解析により本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-05T14:15:54Z)
• Learning to optimize with convergence guarantees using nonlinear system theory [0.4143603294943439]
  本研究では,スムーズな目的関数に対するアルゴリズムの非制約パラメトリゼーションを提案する。 特に、私たちのフレームワークは自動微分ツールと直接互換性があります。
  論文  参考訳（メタデータ） (2024-03-14T13:40:26Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。