Fugu-MT 論文翻訳(概要): Simplicial Embeddings in Self-Supervised Learning and Downstream Classification

論文の概要: Simplicial Embeddings in Self-Supervised Learning and Downstream Classification

arxiv url: http://arxiv.org/abs/2204.00616v1
Date: Fri, 1 Apr 2022 17:59:40 GMT
ステータス: 処理完了
システム内更新日: 2022-04-04 14:31:24.724663
Title: Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Title（参考訳）: 自己教師付き学習と下流分類における単純埋め込み
Authors: Samuel Lavoie, Christos Tsirigotis, Max Schwarzer, Kenji Kawaguchi, Ankit Vani, Aaron Courville
Abstract要約: 自己教師付きモデルの符号化表現を、それぞれ$V$の単純さに制限する方法として、Simplicial Embeddings (SEM)を導入します。 SEMは、CIFAR-100やImageNetのような自然画像データセットの一般化を大幅に改善した。
参考スコア（独自算出の注目度）: 17.38535641404417
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Simplicial Embeddings (SEMs) as a way to constrain the encoded representations of a self-supervised model to $L$ simplices of $V$ dimensions each using a Softmax operation. This procedure imposes a structure on the representations that reduce their expressivity for training downstream classifiers, which helps them generalize better. Specifically, we show that the temperature $\tau$ of the Softmax operation controls for the SEM representation's expressivity, allowing us to derive a tighter downstream classifier generalization bound than that for classifiers using unnormalized representations. We empirically demonstrate that SEMs considerably improve generalization on natural image datasets such as CIFAR-100 and ImageNet. Finally, we also present evidence of the emergence of semantically relevant features in SEMs, a pattern that is absent from baseline self-supervised models.
Abstract（参考訳）: 我々は,自己教師付きモデルの符号化表現を,Softmax演算を用いてそれぞれ$V$次元の$L$に制限する方法として,Simplicial Embeddings (SEM)を導入する。この手順は、下流の分類器を訓練するために表現性を減らす構造を課し、より一般化するのに役立つ。具体的には、SEM表現の表現性に対するSoftmax演算制御の温度$\tau$は、非正規化表現を用いた分類器よりも強い下流分類器の一般化を導出できることを示す。我々は,SEMがCIFAR-100やImageNetなどの自然画像データセットの一般化を著しく改善することを示す。最後に,semsに意味的に関連のある特徴が出現する証拠を示す。

関連論文リスト

Instruction-Following Pruning for Large Language Models [58.329978053711024]
我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
論文参考訳（メタデータ） (2025-01-03T20:19:14Z)
SurgeryV2: Bridging the Gap Between Model Merging and Multi-Task Learning with Deep Representation Surgery [54.866490321241905]
モデルマージに基づくマルチタスク学習(MTL)は、複数のエキスパートモデルをマージしてMTLを実行するための有望なアプローチを提供する。本稿では,統合モデルの表現分布について検討し,「表現バイアス」の重要な問題を明らかにする。このバイアスは、マージされたMTLモデルの表現と専門家モデルの間の大きな分布ギャップから生じ、マージされたMTLモデルの最適下性能に繋がる。
論文参考訳（メタデータ） (2024-10-18T11:49:40Z)
Representation Surgery for Multi-Task Model Merging [57.63643005215592]
マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
論文参考訳（メタデータ） (2024-02-05T03:39:39Z)
Interpretability Illusions in the Generalization of Simplified Models [30.124082589662574]
ディープラーニングシステムを研究する一般的な方法は、単純化されたモデル表現を使用することである。このアプローチは、これらの単純化の結果が元のモデルに忠実であると仮定する。単純化された表現がトレーニングセットの完全なモデルを正確に近似できたとしても、モデルの挙動を正確に把握できない可能性があることを示す。
論文参考訳（メタデータ） (2023-12-06T18:25:53Z)
MLIC++: Linear Complexity Multi-Reference Entropy Modeling for Learned Image Compression [30.71965784982577]
我々はMEM++を導入し、潜在表現に固有の様々な相関関係をキャプチャする。 MEM++は最先端のパフォーマンスを実現し、PSNRのVTM-17.0と比較して、KodakデータセットのBDレートを13.39%削減した。 MLIC++はリニアGPUメモリを解像度で表示し、高解像度の画像符号化に非常に適している。
論文参考訳（メタデータ） (2023-07-28T09:11:37Z)
Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。 MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。 ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2022-10-20T17:58:30Z)
Contrastive Learning Rivals Masked Image Modeling in Fine-tuning via Feature Distillation [42.37533586611174]
Masked Image Modeling (MIM)は、非常に優れた微調整性能を持つ表現を学習する。本稿では, 簡単な後処理により, 事前学習手法の微調整性能を著しく向上できることを示す。
論文参考訳（メタデータ） (2022-05-27T17:59:36Z)
The Deep Generative Decoder: MAP estimation of representations improves modeling of single-cell RNA data [0.0]
モデルパラメータと表現を直接最大後部推定(MAP)により計算する単純な生成モデルを提案する。このアプローチの利点は、その単純さと、同等のVAEよりもはるかに小さな次元の表現を提供する能力である。
論文参考訳（メタデータ） (2021-10-13T12:17:46Z)
RG-Flow: A hierarchical and explainable flow model based on renormalization group and sparse prior [2.274915755738124]
フローベース生成モデルは、教師なし学習アプローチの重要なクラスとなっている。本研究では, 階層型フローベース生成モデル RG-Flow の設計のために, 再正規化群 (RG) とスパース事前分布の鍵となる概念を取り入れた。提案手法は, エッジ長が$L$の画像の描画に$O(log L)$の複雑さを伴っているが, 従来より$O(L2)$の複雑性を持つ生成モデルに比べれば, エッジ長が$L$の画像の描画には$O(log L)$の複雑さがある。
論文参考訳（メタデータ） (2020-09-30T18:04:04Z)
Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-13T18:05:36Z)
Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文参考訳（メタデータ） (2020-04-08T09:07:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。