論文の概要: Evolving Metric Learning for Incremental and Decremental Features

• arxiv url: http://arxiv.org/abs/2006.15334v2
• Date: Wed, 30 Jun 2021 03:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 07:22:44.395592
• Title: Evolving Metric Learning for Incremental and Decremental Features
• Title（参考訳）: インクリメンタル・デクリメント機能のためのメトリクス学習の進化
• Authors: Jiahua Dong, Yang Cong, Gan Sun, Tao Zhang, Xu Tang and Xiaowei Xu
• Abstract要約: インクリメンタルおよびデクリメンタル機能のための新しいオンラインEvolving Metric Learningモデルを開発した。 我々のモデルはスムーズなワッサーシュタイン距離を組み込むことで、インスタンスと特徴の進化を同時に扱うことができる。 ワンショットケースでの課題に対処するだけでなく、モデルをマルチショットシナリオに拡張します。
• 参考スコア（独自算出の注目度）: 45.696514400861275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online metric learning has been widely exploited for large-scale data classification due to the low computational cost. However, amongst online practical scenarios where the features are evolving (e.g., some features are vanished and some new features are augmented), most metric learning models cannot be successfully applied to these scenarios, although they can tackle the evolving instances efficiently. To address the challenge, we develop a new online Evolving Metric Learning (EML) model for incremental and decremental features, which can handle the instance and feature evolutions simultaneously by incorporating with a smoothed Wasserstein metric distance. Specifically, our model contains two essential stages: a Transforming stage (T-stage) and a Inheriting stage (I-stage). For the T-stage, we propose to extract important information from vanished features while neglecting non-informative knowledge, and forward it into survived features by transforming them into a low-rank discriminative metric space. It further explores the intrinsic low-rank structure of heterogeneous samples to reduce the computation and memory burden especially for highly-dimensional large-scale data. For the I-stage, we inherit the metric performance of survived features from the T-stage and then expand to include the new augmented features. Moreover, a smoothed Wasserstein distance is utilized to characterize the similarity relationships among the heterogeneous and complex samples, since the evolving features are not strictly aligned in the different stages. In addition to tackling the challenges in one-shot case, we also extend our model into multishot scenario. After deriving an efficient optimization strategy for both T-stage and I-stage, extensive experiments on several datasets verify the superior performance of our EML model.
• Abstract（参考訳）: オンライン計量学習は計算コストの低い大規模データ分類に広く利用されている。 しかし、これらの機能が進化しているオンラインの実践シナリオ(例えば、いくつかの機能が消滅し、いくつかの新機能が拡張されている)の中で、ほとんどのメトリック学習モデルはこれらのシナリオにうまく適用できない。 この課題に対処するために、スムーズなワッサーシュタイン計量距離を組み込むことで、インスタンスと機能進化を同時に処理できるインクリメンタルおよびデクリメンタル機能のための新しいオンラインEvolving Metric Learning(EML)モデルを開発した。 具体的には,トランスフォーミングステージ(tステージ)と継承ステージ(iステージ)の2つの重要なステージを含む。 t-ステージでは,非形式的知識を無視しながら,消失した特徴から重要な情報を抽出し,それを低ランクの判別的計量空間に変換して生存した特徴へと展開する。 さらに、高次元大規模データに対する計算とメモリ負荷を軽減するため、不均一サンプルの本質的な低ランク構造を探索する。 Iステージでは、Tステージから残った特徴のメートル法性能を継承し、新しい拡張機能を含めるように拡張する。 さらに,不均質試料と複素試料との類似性を特徴付けるために平滑化ワッセルシュタイン距離を用いる。 ワンショットケースの課題に取り組むことに加えて、モデルをマルチショットシナリオにも拡張しています。 TステージとIステージの両方の効率的な最適化戦略を導出した後、複数のデータセットに対する広範な実験により、EMLモデルの優れた性能が検証された。

関連論文リスト

• Dynamic and Adaptive Feature Generation with LLM [10.142660254703225]
  本稿では,特徴生成プロセスの解釈可能性を高める動的かつ適応的な特徴生成手法を提案する。 弊社のアプローチは、さまざまなデータタイプやタスクに適用可能性を広げ、戦略的柔軟性よりも優位性を引き出す。
  論文  参考訳（メタデータ） (2024-06-04T20:32:14Z)
• Online Continual Learning for Robust Indoor Object Recognition [24.316047317028143]
  ホームロボットに搭載された視覚システムは、環境の変化の中で見えないクラスと対話する必要がある。 本稿では,高次統計モーメントを演算するリッチな特徴空間を構成するRobOCLeを提案する。 異なるモーメントにより、RobOCLeは変形の異なる特性を捉えることができ、推論速度を低下させることなく高いロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2023-07-19T08:32:59Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Semiparametric Language Models Are Scalable Continual Learners [83.74414880208334]
  セミパラメトリック言語モデル(LM)は、新しいテキストデータから継続的に学習する上で有望であることを示す。 Selective Memorization(SeMem)と呼ばれるシンプルで直感的なアプローチを提案する。 SeMemは、モデルが苦労する可能性のある難しいサンプルのみを記憶している。
  論文  参考訳（メタデータ） (2023-03-02T17:15:02Z)
• Traceable Automatic Feature Transformation via Cascading Actor-Critic Agents [25.139229855367088]
  特徴変換は機械学習(ML)の有効性と解釈可能性を高めるための必須課題である 特徴変換タスクを、特徴生成と選択の反復的、ネストされたプロセスとして定式化する。 高次元データにおけるSOTAとロバスト性と比較すると,F1スコアの24.7%の改善が見られた。
  論文  参考訳（メタデータ） (2022-12-27T08:20:19Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。