論文の概要: Incremental Neural Implicit Representation with Uncertainty-Filtered Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2212.10950v2
• Date: Sun, 4 Jun 2023 04:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 03:35:57.797880
• Title: Incremental Neural Implicit Representation with Uncertainty-Filtered Knowledge Distillation
• Title（参考訳）: 不確実な知識蒸留によるインクリメンタルニューラルインシシシト表現
• Authors: Mengqi Guo, Chen Li, Hanlin Chen, Gim Hee Lee
• Abstract要約: 最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 ストリーミングデータから継続的に学習する場合、これまで見てきたデータを再考することなく、悲惨な忘れがちな問題に悩まされる。 破滅的な忘れの問題を軽減するために,学生と教師の枠組みを設計する。
• 参考スコア（独自算出の注目度）: 59.95692054302568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent neural implicit representations (NIRs) have achieved great success in the tasks of 3D reconstruction and novel view synthesis. However, they suffer from the catastrophic forgetting problem when continuously learning from streaming data without revisiting the previously seen data. This limitation prohibits the application of existing NIRs to scenarios where images come in sequentially. In view of this, we explore the task of incremental learning for NIRs in this work. We design a student-teacher framework to mitigate the catastrophic forgetting problem. Specifically, we iterate the process of using the student as the teacher at the end of each time step and let the teacher guide the training of the student in the next step. As a result, the student network is able to learn new information from the streaming data and retain old knowledge from the teacher network simultaneously. Although intuitive, naively applying the student-teacher pipeline does not work well in our task. Not all information from the teacher network is helpful since it is only trained with the old data. To alleviate this problem, we further introduce a random inquirer and an uncertainty-based filter to filter useful information. Our proposed method is general and thus can be adapted to different implicit representations such as neural radiance field (NeRF) and neural SDF. Extensive experimental results for both 3D reconstruction and novel view synthesis demonstrate the effectiveness of our approach compared to different baselines.
• Abstract（参考訳）: 最近の神経暗黙表現(NIR)は、3次元再構成と新しいビュー合成のタスクにおいて大きな成功を収めている。 しかし、事前に見たデータを再訪することなくストリーミングデータから継続的に学習する場合、彼らは壊滅的な忘れる問題に苦しむ。 この制限は、画像が順次入ってくるシナリオへの既存のNIRの適用を禁止している。 この観点から,本研究におけるNIRの漸進的学習の課題について考察する。 学生・教師の枠組みをデザインし,破滅的な忘れ方問題を軽減する。 具体的には、各段階の終わりに生徒を教師として使用するプロセスを繰り返すとともに、次の段階において生徒の指導を指導する。 その結果、学生ネットワークはストリーミングデータから新たな情報を学び、教師ネットワークから古い知識を同時に保持することができる。 直感的ではあるが、生徒-教師パイプラインの適用は我々の作業ではうまくいきません。 教師ネットワークからのすべての情報は、古いデータでのみ訓練されているため、役に立たない。 この問題を軽減するために,有用情報をフィルタするランダムな問い合わせ器と不確実性に基づくフィルタを導入する。 提案手法は汎用的であり,ニューラルレイディアンス場(NeRF)やニューラルSDFなどの暗黙表現に適応することができる。 3次元再構成と新しいビュー合成の併用による大規模な実験結果から, 異なるベースラインに対するアプローチの有効性が示された。

関連論文リスト

• Negotiated Representations to Prevent Forgetting in Machine Learning Applications [0.0]
  破滅的な忘れは、機械学習の分野で重要な課題である。 本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:43:50Z)
• Hierarchical Supervision and Shuffle Data Augmentation for 3D Semi-Supervised Object Detection [90.32180043449263]
  最先端の3Dオブジェクト検出器は通常、高品質な3Dアノテーションを備えた大規模データセットで訓練される。 自然な治療法は、限られた量のラベル付きサンプルと豊富なラベル付きサンプルを活用することで、半教師付き学習(SSL)を採用することである。 本稿では,HSSDA(Hierarchical Supervision and Shuffle Data Augmentation)の新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-04-04T02:09:32Z)
• Improved knowledge distillation by utilizing backward pass knowledge in neural networks [17.437510399431606]
  知識蒸留(KD)は、モデル圧縮において重要な技術の一つである。 本研究では,教師の後方パスから知識を抽出し,新たな補助訓練サンプルを作成する。 自然言語処理(NLP)と言語理解(Language understanding)の応用において,この手法がいかにうまく利用できるかを示す。
  論文  参考訳（メタデータ） (2023-01-27T22:07:38Z)
• Excess Risk of Two-Layer ReLU Neural Networks in Teacher-Student Settings and its Superiority to Kernel Methods [58.44819696433327]
  教師回帰モデルにおける2層ReLUニューラルネットワークのリスクについて検討する。 学生ネットワークは、どの解法よりも確実に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T02:51:36Z)
• Increasing Depth of Neural Networks for Life-long Learning [2.0305676256390934]
  本稿では,ニューラルネットワークの深度増加に基づく連続学習手法を提案する。 この研究は、ニューラルネットワークの深さを延ばすことが、生涯にわたる学習環境で有益かどうかを探求する。
  論文  参考訳（メタデータ） (2022-02-22T11:21:41Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Neural Networks Are More Productive Teachers Than Human Raters: Active Mixup for Data-Efficient Knowledge Distillation from a Blackbox Model [57.41841346459995]
  我々は,ブラックボックス教師モデルから知識を抽出し,学生の深層ニューラルネットワークを視覚認識のために訓練する方法を,データ効率のよい方法で研究する。 混合学習とアクティブラーニングを融合した手法を提案する。
  論文  参考訳（メタデータ） (2020-03-31T05:44:55Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks with Experience Replay [16.913443823792022]
  グラフニューラルネットワーク(GNN)は、最近、様々なグラフ関連学習タスクにおける優れたパフォーマンスのために、大きな研究の注目を集めている。 本研究では,GNNを連続学習タスクに適用できるかどうかを考察する。
  論文  参考訳（メタデータ） (2020-03-22T14:29:53Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Adversarial Incremental Learning [0.0]
  ディープラーニングは、以前のデータが利用できない新しいタスクを学ぶ際に、これまで学んだ情報を忘れることができる。 本稿では,新しいタスクのトレーニング中に,古いデータを全く利用しない逆判別器に基づく手法を提案する。 我々は、CIFAR-100、SVHN、MNISTデータセット上で、他の最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-30T02:25:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。