論文の概要: L3DMC: Lifelong Learning using Distillation via Mixed-Curvature Space

• arxiv url: http://arxiv.org/abs/2307.16459v2
• Date: Tue, 1 Aug 2023 07:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 11:25:35.490463
• Title: L3DMC: Lifelong Learning using Distillation via Mixed-Curvature Space
• Title（参考訳）: L3DMC:混合曲率空間による蒸留による生涯学習
• Authors: Kaushik Roy, Peyman Moghadam, Mehrtash Harandi
• Abstract要約: 我々は,すでに学習した知識を保存するために混合曲率空間で動作するL3DMCという蒸留戦略を提案する。 L3DMCは、複数の固定曲率空間の表現力を組み合わせた古い知識を忘れずに、新しい知識をよりよく適応することができる。
• 参考スコア（独自算出の注目度）: 25.464908461462407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of a lifelong learning (L3) model degrades when it is trained on a series of tasks, as the geometrical formation of the embedding space changes while learning novel concepts sequentially. The majority of existing L3 approaches operate on a fixed-curvature (e.g., zero-curvature Euclidean) space that is not necessarily suitable for modeling the complex geometric structure of data. Furthermore, the distillation strategies apply constraints directly on low-dimensional embeddings, discouraging the L3 model from learning new concepts by making the model highly stable. To address the problem, we propose a distillation strategy named L3DMC that operates on mixed-curvature spaces to preserve the already-learned knowledge by modeling and maintaining complex geometrical structures. We propose to embed the projected low dimensional embedding of fixed-curvature spaces (Euclidean and hyperbolic) to higher-dimensional Reproducing Kernel Hilbert Space (RKHS) using a positive-definite kernel function to attain rich representation. Afterward, we optimize the L3 model by minimizing the discrepancies between the new sample representation and the subspace constructed using the old representation in RKHS. L3DMC is capable of adapting new knowledge better without forgetting old knowledge as it combines the representation power of multiple fixed-curvature spaces and is performed on higher-dimensional RKHS. Thorough experiments on three benchmarks demonstrate the effectiveness of our proposed distillation strategy for medical image classification in L3 settings. Our code implementation is publicly available at https://github.com/csiro-robotics/L3DMC.
• Abstract（参考訳）: 組込み空間の幾何学的形成は、新しい概念を逐次学習しながら変化するため、生涯学習(L3)モデルの性能は一連のタスクで訓練されると劣化する。 既存のL3アプローチの大半は、データの複雑な幾何学構造をモデル化するのに必ずしも適さない固定曲率(例えば、ゼロ曲率ユークリッド空間)で動く。 さらに, 蒸留法では, 低次元埋め込みに直接制約を適用し, モデルを高度に安定させることでL3モデルを新しい概念の学習から遠ざけている。 そこで本研究では, 複雑な幾何学的構造をモデル化し, 維持することにより, 既に習得した知識を維持するため, 混合曲率空間で動作する蒸留戦略L3DMCを提案する。 固定曲率空間(ユークリッドおよび双曲)の投影された低次元埋め込みを正定値カーネル関数を用いて高次元のケルネルヒルベルト空間(RKHS)に埋め込み、リッチ表現を実現することを提案する。 その後、新しいサンプル表現とRKHSの古い表現を用いた部分空間との差を最小化してL3モデルを最適化する。 L3DMCは、複数の固定曲率空間の表現力を組み合わせた古い知識を忘れずに、新しい知識をよりよく適応することができ、高次元のRKHSで実行される。 3つのベンチマークによる詳細な実験により,L3設定での医用画像分類における蒸留法の有効性が示された。 コード実装はhttps://github.com/csiro-robotics/L3DMCで公開されています。

関連論文リスト

• Optimizing 3D Geometry Reconstruction from Implicit Neural Representations [2.3940819037450987]
  暗黙の神経表現は、3D幾何学を学ぶための強力なツールとして登場した。 本稿では,計算コストを削減し,細部を捉える新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-16T16:36:23Z)
• Gaussian Splatting with Localized Points Management [52.009874685460694]
  局所的点管理(LPM)は、点加算と幾何校正の双方の最も高い需要において、これらの誤り貢献ゾーンを特定することができる。 LPMは特定ゾーンに点密度を適用し、これらの領域の前に位置する点の不透明度をリセットし、不条件点を補正する新たな機会を創出する。 特に、LPMはバニラ3DGSとSpaceTimeGSの両方を改善して、リアルタイム速度を維持しながら最先端のレンダリング品質を実現している。
  論文  参考訳（メタデータ） (2024-06-06T16:55:07Z)
• SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
  本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。 SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
  論文  参考訳（メタデータ） (2024-04-29T23:26:30Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [62.663113296987085]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。 既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Self-supervised Learning for Enhancing Geometrical Modeling in 3D-Aware Generative Adversarial Network [42.16520614686877]
  3D-GANは、メッシュの不完全性や穴などの3D幾何学的モデリングにおいて、アーティファクトを示す。 これらの欠点は、主にアノテーション付き3Dデータの可用性が制限されているためである。 本稿では,任意の3D-GANの補助的損失を補うセルフ・スーパーバイザード・ラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T04:55:33Z)
• Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View Tomography [58.60249163402822]
  未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。 提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
  論文  参考訳（メタデータ） (2022-07-06T21:40:59Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based Perception [122.53774221136193]
  運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。 自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。 本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-12T06:25:11Z)
• Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR Segmentation [81.02742110604161]
  大規模運転シーンのLiDARセグメンテーションのための最先端の手法は、しばしば点雲を2次元空間に投影し、2D畳み込みによって処理する。 そこで我々は,3次元幾何学的パタンを探索するために,円筒分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。 提案手法はセマンティックKITTIのリーダーボードにおいて第1位を獲得し,既存のnuScenesの手法を約4%のマージンで上回っている。
  論文  参考訳（メタデータ） (2020-11-19T18:53:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。