論文の概要: Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2403.10552v1
• Date: Wed, 13 Mar 2024 03:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 23:05:08.910900
• Title: Training Self-localization Models for Unseen Unfamiliar Places via Teacher-to-Student Data-Free Knowledge Transfer
• Title（参考訳）: 教師から教師へのデータ自由な知識伝達による見知らぬ場所の自己ローカライゼーションモデルの訓練
• Authors: Kenta Tsukahara, Kanji Tanaka, Daiki Iwata,
• Abstract要約: 最先端の自己ローカライゼーションモデルにおける典型的な仮定は、アノテーション付きトレーニングデータセットがターゲットのワークスペースで利用できるということである。 本研究では,オープンワールド分散ロボットシステムのための新しいトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 1.474723404975345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A typical assumption in state-of-the-art self-localization models is that an annotated training dataset is available in the target workspace. However, this does not always hold when a robot travels in a general open-world. This study introduces a novel training scheme for open-world distributed robot systems. In our scheme, a robot ("student") can ask the other robots it meets at unfamiliar places ("teachers") for guidance. Specifically, a pseudo-training dataset is reconstructed from the teacher model and thereafter used for continual learning of the student model. Unlike typical knowledge transfer schemes, our scheme introduces only minimal assumptions on the teacher model, such that it can handle various types of open-set teachers, including uncooperative, untrainable (e.g., image retrieval engines), and blackbox teachers (i.e., data privacy). Rather than relying on the availability of private data of teachers as in existing methods, we propose to exploit an assumption that holds universally in self-localization tasks: "The teacher model is a self-localization system" and to reuse the self-localization system of a teacher as a sole accessible communication channel. We particularly focus on designing an excellent student/questioner whose interactions with teachers can yield effective question-and-answer sequences that can be used as pseudo-training datasets for the student self-localization model. When applied to a generic recursive knowledge distillation scenario, our approach exhibited stable and consistent performance improvement.
• Abstract（参考訳）: 最先端の自己ローカライゼーションモデルにおける典型的な仮定は、アノテーション付きトレーニングデータセットがターゲットのワークスペースで利用できるということである。 しかし、これはロボットが一般のオープンワールドを旅する際には必ずしも当てはまらない。 本研究では,オープンワールド分散ロボットシステムのための新しいトレーニング手法を提案する。 我々の計画では、ロボット(「学生」)は、知らない場所で出会った他のロボット(「教師」)に指導を依頼することができる。 具体的には、教師モデルから擬似学習データセットを再構成し、その後、学生モデルの継続的な学習に使用する。 従来の知識伝達方式とは違って,教師モデルでは,非協調型,非訓練型(画像検索エンジン),ブラックボックス型(データプライバシ)など,様々な種類のオープンセットの教師を扱えるような,最小限の仮定しか導入できない。 従来の方法のように教師の個人データに頼らず,「教師モデルは自己ローカライズシステムである」という自己ローカライズ作業に共通する仮定を活用し,教師の自己ローカライズシステムを唯一の通信チャネルとして再利用することを提案する。 特に,教師とのインタラクションによって,学生の自己ローカライゼーションモデルのための擬似学習データセットとして使用できる,効果的な質問・回答シーケンスが得られる優れた学生/質問者の設計に着目する。 一般的な再帰的知識蒸留のシナリオに適用すると,本手法は安定かつ一貫した性能向上を示した。

関連論文リスト

• Recursive Distillation for Open-Set Distributed Robot Localization [1.6574413179773761]
  本研究は,オープンワールド分散ロボットシステムのための新しいトレーニングスキームを導入する。 ロボット(学生)は、知らない場所で出会った他のロボット(教師)にガイダンスを求めることができる。 一般的な知識伝達方式とは異なり,本手法では教師モデルに最小限の仮定を導入する。
  論文  参考訳（メタデータ） (2023-12-26T06:20:55Z)
• DriveAdapter: Breaking the Coupling Barrier of Perception and Planning in End-to-End Autonomous Driving [64.57963116462757]
  最先端の手法は通常、教師-学生のパラダイムに従う。 学生モデルは、生のセンサーデータのみにアクセスし、教師モデルによって収集されたデータに基づいて行動クローニングを行う。 本稿では,学生(知覚)と教師(計画)モジュール間の機能アライメント目的関数を持つアダプタを用いたDriveAdapterを提案する。
  論文  参考訳（メタデータ） (2023-08-01T09:21:53Z)
• Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment [52.704331909850026]
  我々は、自己指導型事前学習モデルから他の学生ネットワークへ知識を伝達するための新しい知識蒸留フレームワークを定式化した。 自己教師型学習におけるインスタンス識別の精神に触発され,特徴埋め込み空間におけるグラフ定式化によるインスタンスとインスタンスの関係をモデル化する。 蒸留方式は, 学生ネットワーク上での表現学習を促進するために, 自己指導型知識の伝達に柔軟に適用できる。
  論文  参考訳（メタデータ） (2022-11-23T19:27:48Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Lifelong Teacher-Student Network Learning [15.350366047108103]
  本稿では,教師-学生ネットワークフレームワークを用いた生涯学習手法を提案する。 教師は、以前に学習したデータベースの確率的表現に対応する過去の知識を保存し、再生するように訓練されている。 学生モジュールは、異なるドメインにまたがる連続的なデータ表現と離散的なデータ表現の両方をキャプチャするように訓練されている。
  論文  参考訳（メタデータ） (2021-07-09T21:25:56Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• FaceLeaks: Inference Attacks against Transfer Learning Models via Black-box Queries [2.7564955518050693]
  教師モデルと直接対話することなく,個人情報を漏らしたり推測したりできるかどうかを検討する。 集約レベル情報から推測する新しい手法を提案する。 本研究は,情報漏洩が現実の状況で広く利用されている伝達学習フレームワークに対する真のプライバシー上の脅威であることを示す。
  論文  参考訳（メタデータ） (2020-10-27T03:02:40Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)
• Differentially Private Deep Learning with Smooth Sensitivity [144.31324628007403]
  プライバシーに関する懸念を、差分プライバシーのレンズを通して研究する。 このフレームワークでは、モデルのトレーニングに使用されるデータの詳細が曖昧になるようにモデルを摂動することで、一般的にプライバシー保証が得られます。 過去の研究で使われた最も重要なテクニックの1つは、教師モデルのアンサンブルであり、ノイズの多い投票手順に基づいて生徒に情報を返す。 本研究では,イミュータブルノイズArgMaxと呼ばれるスムーズな感性を有する新しい投票機構を提案する。これは,ある条件下では,学生に伝達される有用な情報に影響を与えることなく,教師から非常に大きなランダムノイズを発生させることができる。
  論文  参考訳（メタデータ） (2020-03-01T15:38:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。