論文の概要: L3DMC: Lifelong Learning using Distillation via Mixed-Curvature Space
- arxiv url: http://arxiv.org/abs/2307.16459v1
- Date: Mon, 31 Jul 2023 07:36:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 15:30:40.638057
- Title: L3DMC: Lifelong Learning using Distillation via Mixed-Curvature Space
- Title(参考訳): L3DMC:混合曲率空間による蒸留による生涯学習
- Authors: Kaushik Roy, Peyman Moghadam, Mehrtash Harandi
- Abstract要約: 我々は,すでに学習した知識を保存するために混合曲率空間で動作するL3DMCという蒸留戦略を提案する。
L3DMCは、複数の固定曲率空間の表現力を組み合わせた古い知識を忘れずに、新しい知識をよりよく適応することができる。
- 参考スコア(独自算出の注目度): 25.464908461462407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of a lifelong learning (L3) model degrades when it is trained
on a series of tasks, as the geometrical formation of the embedding space
changes while learning novel concepts sequentially. The majority of existing L3
approaches operate on a fixed-curvature (e.g., zero-curvature Euclidean) space
that is not necessarily suitable for modeling the complex geometric structure
of data. Furthermore, the distillation strategies apply constraints directly on
low-dimensional embeddings, discouraging the L3 model from learning new
concepts by making the model highly stable. To address the problem, we propose
a distillation strategy named L3DMC that operates on mixed-curvature spaces to
preserve the already-learned knowledge by modeling and maintaining complex
geometrical structures. We propose to embed the projected low dimensional
embedding of fixed-curvature spaces (Euclidean and hyperbolic) to
higher-dimensional Reproducing Kernel Hilbert Space (RKHS) using a
positive-definite kernel function to attain rich representation. Afterward, we
optimize the L3 model by minimizing the discrepancies between the new sample
representation and the subspace constructed using the old representation in
RKHS. L3DMC is capable of adapting new knowledge better without forgetting old
knowledge as it combines the representation power of multiple fixed-curvature
spaces and is performed on higher-dimensional RKHS. Thorough experiments on
three benchmarks demonstrate the effectiveness of our proposed distillation
strategy for medical image classification in L3 settings. Our code
implementation is publicly available at
https://github.com/csiro-robotics/L3DMC.
- Abstract(参考訳): 組込み空間の幾何学的形成は、新しい概念を逐次学習しながら変化するため、生涯学習(L3)モデルの性能は一連のタスクで訓練されると劣化する。
既存のL3アプローチの大半は、データの複雑な幾何学構造をモデル化するのに必ずしも適さない固定曲率(例えば、ゼロ曲率ユークリッド空間)で動く。
さらに, 蒸留法では, 低次元埋め込みに直接制約を適用し, モデルを高度に安定させることでL3モデルを新しい概念の学習から遠ざけている。
そこで本研究では, 複雑な幾何学的構造をモデル化し, 維持することにより, 既に習得した知識を維持するため, 混合曲率空間で動作する蒸留戦略L3DMCを提案する。
固定曲率空間(ユークリッドおよび双曲)の投影された低次元埋め込みを正定値カーネル関数を用いて高次元のケルネルヒルベルト空間(RKHS)に埋め込み、リッチ表現を実現することを提案する。
その後、新しいサンプル表現とRKHSの古い表現を用いた部分空間との差を最小化してL3モデルを最適化する。
L3DMCは、複数の固定曲率空間の表現力を組み合わせた古い知識を忘れずに、新しい知識をよりよく適応することができ、高次元のRKHSで実行される。
3つのベンチマークによる詳細な実験により,L3設定での医用画像分類における蒸留法の有効性が示された。
コード実装はhttps://github.com/csiro-robotics/L3DMCで公開されています。
関連論文リスト
- SAGS: Structure-Aware 3D Gaussian Splatting [53.6730827668389]
本研究では,シーンの形状を暗黙的に符号化する構造認識型ガウス散乱法(SAGS)を提案する。
SAGSは、最先端のレンダリング性能と、ベンチマークノベルビュー合成データセットのストレージ要件の削減を反映している。
論文 参考訳(メタデータ) (2024-04-29T23:26:30Z) - Q-SLAM: Quadric Representations for Monocular SLAM [89.05457684629621]
モノクラーSLAMは、3Dジオメトリを正確にモデル化するという課題に長い間取り組んできた。
ニューラルラジアンス場(NeRF)をベースとしたモノキュラーSLAMの最近の進歩は、将来性を示している。
本稿では,2次形式のレンズを通して体積表現を再現する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-12T23:27:30Z) - FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with
Pre-trained Vision-Language Models [62.663113296987085]
クラス増分学習(class-incremental learning)は、モデルが限られたデータに基づいて漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。
冗長特徴除去器(RFE)と空間ノイズ補償器(SNC)の2つの新しいコンポーネントを紹介する。
既存の3次元データセットの不均衡を考慮し、3次元FSCILモデルのより微妙な評価を提供する新しい評価指標を提案する。
論文 参考訳(メタデータ) (2023-12-28T14:52:07Z) - Self-supervised Learning for Enhancing Geometrical Modeling in 3D-Aware
Generative Adversarial Network [42.16520614686877]
3D-GANは、メッシュの不完全性や穴などの3D幾何学的モデリングにおいて、アーティファクトを示す。
これらの欠点は、主にアノテーション付き3Dデータの可用性が制限されているためである。
本稿では,任意の3D-GANの補助的損失を補うセルフ・スーパーバイザード・ラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-12-19T04:55:33Z) - Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View
Tomography [58.60249163402822]
未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。
提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
論文 参考訳(メタデータ) (2022-07-06T21:40:59Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR
Segmentation [81.02742110604161]
大規模運転シーンのLiDARセグメンテーションのための最先端の手法は、しばしば点雲を2次元空間に投影し、2D畳み込みによって処理する。
そこで我々は,3次元幾何学的パタンを探索するために,円筒分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
提案手法はセマンティックKITTIのリーダーボードにおいて第1位を獲得し,既存のnuScenesの手法を約4%のマージンで上回っている。
論文 参考訳(メタデータ) (2020-11-19T18:53:11Z) - Anisotropic Convolutional Networks for 3D Semantic Scene Completion [24.9671648682339]
セマンティックシーン補完(SSC)は、単一の深さおよび/またはRGB画像からシーンの占有度とセマンティックラベルを同時に推測しようとする。
異方性畳み込みと呼ばれる新しいモジュールを提案する。
固定された3次元受容場に制限される標準的な3次元畳み込みとは対照的に、我々のモジュールは次元異方性ボクセルを賢明にモデル化することができる。
論文 参考訳(メタデータ) (2020-04-05T07:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。