論文の概要: Asymmetric metric learning for knowledge transfer

• arxiv url: http://arxiv.org/abs/2006.16331v1
• Date: Mon, 29 Jun 2020 19:28:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 14:58:19.044486
• Title: Asymmetric metric learning for knowledge transfer
• Title（参考訳）: 知識伝達のための非対称計量学習
• Authors: Mateusz Budnik and Yannis Avrithis
• Abstract要約: 本研究では,教師がデータベースを表現し,学生が質問する非対称なテスト課題について検討する。 この課題に触発されて、トレーニングで非対称表現を使用する新しいパラダイムである非対称なメートル法学習を導入する。 より複雑な知識伝達機構と比較して, 単純な回帰は驚くほど効果的であることがわかった。
• 参考スコア（独自算出の注目度）: 17.93245034392524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge transfer from large teacher models to smaller student models has recently been studied for metric learning, focusing on fine-grained classification. In this work, focusing on instance-level image retrieval, we study an asymmetric testing task, where the database is represented by the teacher and queries by the student. Inspired by this task, we introduce asymmetric metric learning, a novel paradigm of using asymmetric representations at training. This acts as a simple combination of knowledge transfer with the original metric learning task. We systematically evaluate different teacher and student models, metric learning and knowledge transfer loss functions on the new asymmetric testing as well as the standard symmetric testing task, where database and queries are represented by the same model. We find that plain regression is surprisingly effective compared to more complex knowledge transfer mechanisms, working best in asymmetric testing. Interestingly, our asymmetric metric learning approach works best in symmetric testing, allowing the student to even outperform the teacher.
• Abstract（参考訳）: 大規模教員モデルから小学生モデルへの知識伝達は,近年,細粒度分類に焦点をあてて,計量学習のために研究されている。 本研究では,インスタンスレベルの画像検索に着目し,教師がデータベースを表現し,学生が問合せを行う非対称テストタスクについて検討する。 この課題に触発されて、トレーニングで非対称表現を使用するという新しいパラダイムである非対称メトリック学習を導入した。 これは、元のメトリック学習タスクと知識転送の単純な組み合わせとして機能する。 新しい非対称テストと標準対称テストタスクにおいて,教師と生徒のモデル,メトリック学習と知識伝達損失関数を体系的に評価し,データベースと問合せを同じモデルで表現した。 単純な回帰は、より複雑な知識伝達メカニズムと比較して驚くほど効果的であり、非対称テストで最善を尽くす。 興味深いことに、非対称なメトリック学習アプローチは対称テストにおいて最もうまく機能し、生徒が教師よりも優れています。

関連論文リスト

• Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
  1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。 この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
  論文  参考訳（メタデータ） (2024-10-29T08:28:23Z)
• A Unified Framework to Enforce, Discover, and Promote Symmetry in Machine Learning [5.1105250336911405]
  機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。 対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。 本稿では、リー微分と核ノルム緩和に基づく凸正規化関数のクラスを導入することで対称性を促進する新しい方法を提案する。
  論文  参考訳（メタデータ） (2023-11-01T01:19:54Z)
• Addressing Imperfect Symmetry: a Novel Symmetry-Learning Actor-Critic Extension [0.46040036610482665]
  適応対称性 (Adaptive Symmetry, ASL) $x2013$ は不完全対称性に対処するモデル最小化アクター批判拡張である。 ASLは対称性適合成分とモジュラー損失関数から構成され、学習されたポリシーに適応しながら全ての状態に共通な関係を強制する。 その結果, ASLは大きな摂動から回復し, 隠れ対称状態へ一般化できることがわかった。
  論文  参考訳（メタデータ） (2023-09-06T04:47:46Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Improved Representation of Asymmetrical Distances with Interval Quasimetric Embeddings [45.69333765438636]
  非対称距離構造(準距離構造)は、私たちの生活においてユビキタスであり、機械学習応用においてより注目を集めている。 このような準計量モデルに4つの望ましい性質を示し、先行研究がそれに対してどのように失敗するかを示す。 4つの基準を全て満たすために, IQE (Interval Quasimetric Embedding) を提案する。
  論文  参考訳（メタデータ） (2022-11-28T08:22:26Z)
• Neural Bregman Divergences for Distance Learning [60.375385370556145]
  本稿では,入力凸ニューラルネットワークを用いて任意のブレグマン分岐を微分可能な方法で学習するための新しいアプローチを提案する。 提案手法は,新しいタスクと以前に研究されたタスクのセットにおいて,より忠実に相違点を学習することを示す。 我々のテストはさらに、既知の非対称なタスクにまで拡張するが、Bregmanでないタスクでは、不特定性にもかかわらず、我々のメソッドは競争的に機能する。
  論文  参考訳（メタデータ） (2022-06-09T20:53:15Z)
• On the Importance of Asymmetry for Siamese Representation Learning [53.86929387179092]
  シームズネットワークは、2つの並列エンコーダと概念的に対称である。 ネットワーク内の2つのエンコーダを明確に区別することで,非対称性の重要性について検討する。 非対称設計による改善は、より長いトレーニングスケジュール、複数の他のフレームワーク、より新しいバックボーンに一般化されている。
  論文  参考訳（メタデータ） (2022-04-01T17:57:24Z)
• A Taxonomy of Similarity Metrics for Markov Decision Processes [62.997667081978825]
  近年、伝達学習は強化学習(RL)アルゴリズムをより効率的にすることに成功した。 本稿では,これらの指標を分類し,これまでに提案されている類似性の定義を分析する。
  論文  参考訳（メタデータ） (2021-03-08T12:36:42Z)
• ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
  修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。 多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。 提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-02T00:07:53Z)
• Asymmetric Distribution Measure for Few-shot Learning [82.91276814477126]
  メトリクスベースの少数ショット画像分類は、クエリ画像とサポートクラスの関係を測定することを目的としている。 本稿では,非対称分布測定(ADM)ネットワークを提案する。 5ドルの$-wayの$-shotタスクで最先端のメソッドよりも3.02%の$と1.56%の$を達成しています。
  論文  参考訳（メタデータ） (2020-02-01T06:41:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。