論文の概要: LiDAR: Sensing Linear Probing Performance in Joint Embedding SSL
Architectures
- arxiv url: http://arxiv.org/abs/2312.04000v1
- Date: Thu, 7 Dec 2023 02:31:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:29:59.705933
- Title: LiDAR: Sensing Linear Probing Performance in Joint Embedding SSL
Architectures
- Title(参考訳): LiDAR: SSLアーキテクチャを組み込んだ共同実装における線形プロファイリングパフォーマンスのセンシング
- Authors: Vimal Thilak and Chen Huang and Omid Saremi and Laurent Dinh and
Hanlin Goh and Preetum Nakkiran and Joshua M. Susskind and Etai Littwin
- Abstract要約: LiDARは、ジョイント埋め込みアーキテクチャにおける表現の質を測定するために設計されたメトリクスである。
提案する基準は,JEアーキテクチャにおける表現の質を評価するための,より堅牢で直感的な方法である。
- 参考スコア(独自算出の注目度): 24.40012454562582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint embedding (JE) architectures have emerged as a promising avenue for
acquiring transferable data representations. A key obstacle to using JE
methods, however, is the inherent challenge of evaluating learned
representations without access to a downstream task, and an annotated dataset.
Without efficient and reliable evaluation, it is difficult to iterate on
architectural and training choices for JE methods. In this paper, we introduce
LiDAR (Linear Discriminant Analysis Rank), a metric designed to measure the
quality of representations within JE architectures. Our metric addresses
several shortcomings of recent approaches based on feature covariance rank by
discriminating between informative and uninformative features. In essence,
LiDAR quantifies the rank of the Linear Discriminant Analysis (LDA) matrix
associated with the surrogate SSL task -- a measure that intuitively captures
the information content as it pertains to solving the SSL task. We empirically
demonstrate that LiDAR significantly surpasses naive rank based approaches in
its predictive power of optimal hyperparameters. Our proposed criterion
presents a more robust and intuitive means of assessing the quality of
representations within JE architectures, which we hope facilitates broader
adoption of these powerful techniques in various domains.
- Abstract(参考訳): JEアーキテクチャは、転送可能なデータ表現を取得するための有望な道として登場した。
しかしjeメソッドを使用する上での重要な障害は、ダウンストリームタスクや注釈付きデータセットにアクセスせずに学習表現を評価することにある。
効率的で信頼性の高い評価がなければ、JEメソッドのアーキテクチャとトレーニングの選択を繰り返すのは難しい。
本稿では,JEアーキテクチャにおける表現の質を測定するための指標であるLiDAR(Linear Discriminant Analysis Rank)を紹介する。
我々は,情報的特徴と非形式的特徴の区別による特徴共分散ランクに基づく最近のアプローチの欠点について考察した。
本質的に、LiDARはSSLタスクに関連する線形識別分析(LDA)行列のランクを定量化します。
我々は、LiDARが最適なハイパーパラメータの予測能力において、ナイーブなランクに基づくアプローチをはるかに上回っていることを実証的に実証した。
提案する基準は,JEアーキテクチャにおける表現の質を評価するための,より堅牢で直感的な手段を提供する。
関連論文リスト
- Discriminant Distance-Aware Representation on Deterministic Uncertainty
Quantification Methods [2.309984352134254]
我々は、識別距離認識表現(DDAR)と呼ばれる、決定論的不確実性推定の新しい、効率的な方法を提案する。
DDARは、最適なトレーニング可能なプロトタイプよりも識別層を利用することで、識別可能な距離認識表現を学習することができる。
実験の結果,DDARは柔軟かつアーキテクチャに依存しない手法であり,距離依存性の指標を持つプラグ可能な層として容易に統合できることが判明した。
論文 参考訳(メタデータ) (2024-02-20T02:26:48Z) - Synergistic eigenanalysis of covariance and Hessian matrices for
enhanced binary classification [75.90957645766676]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。
我々のアプローチは、クラス間の平均距離を最大化し、クラス内の分散を最小化する能力を確立する形式的な証明によって裏付けられている。
論文 参考訳(メタデータ) (2024-02-14T16:10:42Z) - A Probabilistic Model to explain Self-Supervised Representation Learning [17.643996974016854]
本稿では,データに対する生成潜在変数モデルを提案する。
比較的手法を含む識別的自己監督アルゴリズムのいくつかのファミリは、その表現上の潜在構造をほぼ誘導することを示した。
モデルを生成的に設定することで、SimVEは、一般的なベンチマーク上の以前のVAEメソッドよりもパフォーマンスを向上します。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data
Selection for Instruction Tuning [54.222609226692015]
我々は大規模言語モデルのための自己誘導手法を導入し、大規模なオープンソースデータセットからサクラサンプルを自律的に識別し、選択する。
私たちの重要なイノベーションであるIFD(Instruction-Following Difficulty)メトリックは、モデルが期待する応答と自動生成技術との間の相違を識別するための重要なツールとして現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Augmentation-aware Self-supervised Learning with Conditioned Projector [15.285739610439093]
自己教師付き学習(SSL)は、ラベルのないデータから堅牢な表現を学ぶための強力な技術である。
本稿では,プロジェクタネットワークを改良し,表現空間の特徴に対する感受性を高めることを提案する。
提案手法は条件拡張型自己教師学習(CASSLE)と呼ばれ,通常の共同埋め込み型SSL手法に直接適用可能である。
論文 参考訳(メタデータ) (2023-05-31T12:24:06Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Benchmarking the Robustness of LiDAR Semantic Segmentation Models [78.6597530416523]
本稿では,LiDARセマンティックセグメンテーションモデルのロバスト性を,様々な汚職の下で包括的に解析することを目的とする。
本稿では,悪天候,計測ノイズ,デバイス間不一致という3つのグループで16のドメイン外LiDAR破損を特徴とするSemanticKITTI-Cというベンチマークを提案する。
我々は、単純だが効果的な修正によってロバスト性を大幅に向上させるロバストLiDARセグメンテーションモデル(RLSeg)を設計する。
論文 参考訳(メタデータ) (2023-01-03T06:47:31Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳(メタデータ) (2022-07-29T02:34:19Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。