論文の概要: Feature Representation Transferring to Lightweight Models via Perception Coherence

• arxiv url: http://arxiv.org/abs/2505.06595v1
• Date: Sat, 10 May 2025 10:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.932631
• Title: Feature Representation Transferring to Lightweight Models via Perception Coherence
• Title（参考訳）: 知覚コヒーレンスによる軽量モデルへの特徴表現伝達
• Authors: Hai-Vy Nguyen, Fabrice Gamboa, Sixin Zhang, Reda Chhaibi, Serge Gratton, Thierry Giaccone,
• Abstract要約: より大規模な教師モデルから軽量な学生モデルに特徴表現を伝達する手法を提案する。 提案手法は,表現の転送を行う強力なベースライン手法に比べて性能が優れ,性能が向上する。
• 参考スコア（独自算出の注目度）: 3.3975558777609915
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this paper, we propose a method for transferring feature representation to lightweight student models from larger teacher models. We mathematically define a new notion called \textit{perception coherence}. Based on this notion, we propose a loss function, which takes into account the dissimilarities between data points in feature space through their ranking. At a high level, by minimizing this loss function, the student model learns to mimic how the teacher model \textit{perceives} inputs. More precisely, our method is motivated by the fact that the representational capacity of the student model is weaker than the teacher model. Hence, we aim to develop a new method allowing for a better relaxation. This means that, the student model does not need to preserve the absolute geometry of the teacher one, while preserving global coherence through dissimilarity ranking. Our theoretical insights provide a probabilistic perspective on the process of feature representation transfer. Our experiments results show that our method outperforms or achieves on-par performance compared to strong baseline methods for representation transferring.
• Abstract（参考訳）: 本稿では,より大規模な教師モデルから軽量な学生モデルに特徴表現を伝達する手法を提案する。 数学的に \textit{perception coherence} という新しい概念を定義する。 この概念に基づいて,特徴空間におけるデータ点間の相違を考慮した損失関数を提案する。 高レベルでは、この損失関数を最小化することにより、学生モデルは教師モデル \textit{perceives} の入力を模倣する方法を学ぶ。 より正確には、学生モデルの表現能力が教師モデルよりも弱いという事実が本手法の動機となっている。 そこで我々は,よりリラックスできる新しい方法を開発することを目指している。 つまり、学生モデルは教師の絶対的な幾何学を保ちながら、異種ランキングを通じてグローバルなコヒーレンスを保つ必要はない。 我々の理論的洞察は、特徴表現伝達の過程に関する確率論的視点を提供する。 実験の結果,提案手法は表現の転送を行う強力なベースライン手法に比べて性能が優れ,また性能も向上していることがわかった。

関連論文リスト

• Relational Representation Distillation [6.24302896438145]
  知識蒸留(KD)は、大きく訓練された教師モデルからより小さく、より効率的な学生モデルに知識を移す効果的な方法である。 その成功にもかかわらず、KDの主な課題の1つは、学生の計算効率を維持しながら、複雑な知識の効率的な伝達を保証することである。 本稿では,計量的特徴表現間の構造的関係を高度に保ち,知識伝達を改善するRepresentation Distillation (RRD)を提案する。
  論文  参考訳（メタデータ） (2024-07-16T14:56:13Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Specify Robust Causal Representation from Mixed Observations [35.387451486213344]
  観測から純粋に表現を学習することは、予測モデルに有利な低次元のコンパクトな表現を学習する問題を懸念する。 本研究では,観測データからこのような表現を学習するための学習手法を開発した。 理論的および実験的に、学習された因果表現で訓練されたモデルは、敵の攻撃や分布シフトの下でより堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-10-21T02:18:35Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Proto2Proto: Can you recognize the car, the way I do? [23.09799187888976]
  Proto2Protoは、知識蒸留により、ある部分ネットワークの解釈可能性を別の部分へ伝達する新しい方法である。 本手法は,教師からより浅い学生モデルに伝達される「暗黒」知識に解釈可能性を加えることを目的としている。 実験の結果,提案手法は,教師から生徒への解釈可能性の伝達を同時に達成し,同時に競争性能を発揮できることがわかった。
  論文  参考訳（メタデータ） (2022-04-25T17:59:30Z)
• It's All in the Head: Representation Knowledge Distillation through Classifier Sharing [0.29360071145551075]
  教師と学生間の分類器共有による表現蒸留の促進のための2つのアプローチを提案する。 提案手法は, 画像分類, きめ細かい分類, 顔認証など, 様々なデータセットやタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2022-01-18T13:10:36Z)
• Bag of Instances Aggregation Boosts Self-supervised Learning [122.61914701794296]
  教師なし学習のための簡易かつ効果的な蒸留戦略を提案する。 BINGOと呼ばれる本手法は,教師が学習した関係を学生に伝達することを目的としている。 BINGOは、小規模モデルにおける最先端の新たなパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-07-04T17:33:59Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Learning to Reweight with Deep Interactions [104.68509759134878]
  本稿では,教師モデルに内部状態を提供する改良型データ再重み付けアルゴリズムを提案する。 クリーン/ノイズラベルとニューラルマシン翻訳を用いた画像分類実験は、我々のアルゴリズムが従来の手法よりも大幅に改善されていることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-07-09T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。