論文の概要: Explicit and data-Efficient Encoding via Gradient Flow

• arxiv url: http://arxiv.org/abs/2412.00864v1
• Date: Sun, 01 Dec 2024 15:54:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:07.082107
• Title: Explicit and data-Efficient Encoding via Gradient Flow
• Title（参考訳）: グラディエントフローによる明示的かつデータ効率の高いエンコーディング
• Authors: Kyriakos Flouris, Anna Volokitin, Gustav Bredell, Ender Konukoglu,
• Abstract要約: 遅延空間にデータを直接エンコードするために勾配流を用いたデコーダのみの手法を提案する。 共役法を用いてデコーダを訓練し、コストのかかる積分を最小限の精度で回避できることを示す。 この研究は、正確で効率的なエンコーディングが不可欠である科学への機械学習の統合の道を開いた。
• 参考スコア（独自算出の注目度）: 13.424502866278822
• License:
• Abstract: The autoencoder model typically uses an encoder to map data to a lower dimensional latent space and a decoder to reconstruct it. However, relying on an encoder for inversion can lead to suboptimal representations, particularly limiting in physical sciences where precision is key. We introduce a decoder-only method using gradient flow to directly encode data into the latent space, defined by ordinary differential equations (ODEs). This approach eliminates the need for approximate encoder inversion. We train the decoder via the adjoint method and show that costly integrals can be avoided with minimal accuracy loss. Additionally, we propose a $2^{nd}$ order ODE variant, approximating Nesterov's accelerated gradient descent for faster convergence. To handle stiff ODEs, we use an adaptive solver that prioritizes loss minimization, improving robustness. Compared to traditional autoencoders, our method demonstrates explicit encoding and superior data efficiency, which is crucial for data-scarce scenarios in the physical sciences. Furthermore, this work paves the way for integrating machine learning into scientific workflows, where precise and efficient encoding is critical. \footnote{The code for this work is available at \url{https://github.com/k-flouris/gfe}.}
• Abstract（参考訳）: オートエンコーダモデルは典型的にはエンコーダを使ってデータを低次元の潜在空間にマッピングし、デコーダで再構成する。 しかし、エンコーダをインバージョンに頼れば、特に精度が鍵となる物理科学において、準最適表現に繋がる可能性がある。 正規微分方程式(ODE)によって定義される遅延空間にデータを直接エンコードするために,勾配流を用いたデコーダのみの手法を提案する。 このアプローチでは、近似エンコーダのインバージョンは不要である。 共役法を用いてデコーダを訓練し、コストのかかる積分を最小限の精度で回避できることを示す。 さらに,Nesterov の加速勾配勾配を近似し,より高速な収束を図った 2 進 ODE 変法を提案する。 剛体ODEの処理には、損失最小化を優先し、ロバスト性を向上させる適応型ソルバを用いる。 従来のオートエンコーダと比較して,物理科学におけるデータスカースシナリオにおいて重要な,明示的な符号化と優れたデータ効率を示す。 さらに、この研究は、正確かつ効率的なエンコーディングが不可欠である科学ワークフローに機械学習を統合する方法の道を開いた。 この作業のコードは \url{https://github.com/k-flouris/gfe} で公開されている。 ※

関連論文リスト

• Gradient-free Decoder Inversion in Latent Diffusion Models [18.493960162113712]
  潜時拡散モデル(LDMs)では、遅延拡散過程は、ピクセル空間よりも次元が低い潜時空間で効率的に発生する。 本稿では,多種多様な潜在モデルに適用可能なLDMの高効率勾配自由デコーダインバージョンを提案する。
  論文  参考訳（メタデータ） (2024-09-27T04:38:14Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• Data-driven decoding of quantum error correcting codes using graph neural networks [0.0]
  グラフニューラルネットワーク(GNN)を用いたモデルフリーでデータ駆動型デコーディングアプローチについて検討する。 GNNベースのデコーダは、シミュレーションデータのみを与えられた表面コード上での回路レベルのノイズに対する整合デコーダよりも優れていることを示す。 その結果、デコードに対する純粋にデータ駆動型アプローチが、実用的な量子誤り訂正のための実行可能な選択肢である可能性が示唆された。
  論文  参考訳（メタデータ） (2023-07-03T17:25:45Z)
• The END: An Equivariant Neural Decoder for Quantum Error Correction [73.4384623973809]
  データ効率のよいニューラルデコーダを導入し、この問題の対称性を活用する。 本稿では,従来のニューラルデコーダに比べて精度の高い新しい同変アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-04-14T19:46:39Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Fundamental Limits of Two-layer Autoencoders, and Achieving Them with Gradient Methods [91.54785981649228]
  本稿では,非線形二層型オートエンコーダについて述べる。 本結果は,人口リスクの最小化要因を特徴付け,その最小化要因が勾配法によって達成されることを示す。 符号アクティベーション関数の特別な場合において、この解析は、シャローオートエンコーダによるガウス音源の損失圧縮の基本的な限界を確立する。
  論文  参考訳（メタデータ） (2022-12-27T12:37:34Z)
• A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
  オートエンコーダは表現学習で一般的に使用される。 多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。 デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
  論文  参考訳（メタデータ） (2021-08-31T15:08:50Z)
• Neural Distributed Source Coding [59.630059301226474]
  相関構造に依存せず,高次元までスケール可能な損失DSCのためのフレームワークを提案する。 提案手法は,複数のデータセット上で評価し,複雑な相関関係と最先端PSNRを扱えることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:50:43Z)
• Gradient flow encoding with distance optimization adaptive step size [10.973034520723957]
  グラデーションフローを用いて潜在空間内のデータサンプルをエンコードするデコーダのみの手法を検討する。 私たちの実験では、GFEは自動符号化モデルよりもはるかに高いデータ効率を示しました。
  論文  参考訳（メタデータ） (2021-05-11T13:38:23Z)
• Auto-Encoding Twin-Bottleneck Hashing [141.5378966676885]
  本稿では,効率よく適応的なコード駆動グラフを提案する。 自動エンコーダのコンテキストでデコードすることで更新される。 ベンチマークデータセットの実験は、最先端のハッシュ手法よりもフレームワークの方が優れていることを明らかに示しています。
  論文  参考訳（メタデータ） (2020-02-27T05:58:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。