論文の概要: LiDAR: Sensing Linear Probing Performance in Joint Embedding SSL Architectures

• arxiv url: http://arxiv.org/abs/2312.04000v1
• Date: Thu, 7 Dec 2023 02:31:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 16:29:59.705933
• Title: LiDAR: Sensing Linear Probing Performance in Joint Embedding SSL Architectures
• Title（参考訳）: LiDAR: SSLアーキテクチャを組み込んだ共同実装における線形プロファイリングパフォーマンスのセンシング
• Authors: Vimal Thilak and Chen Huang and Omid Saremi and Laurent Dinh and Hanlin Goh and Preetum Nakkiran and Joshua M. Susskind and Etai Littwin
• Abstract要約: LiDARは、ジョイント埋め込みアーキテクチャにおける表現の質を測定するために設計されたメトリクスである。 提案する基準は,JEアーキテクチャにおける表現の質を評価するための,より堅牢で直感的な方法である。
• 参考スコア（独自算出の注目度）: 24.40012454562582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint embedding (JE) architectures have emerged as a promising avenue for acquiring transferable data representations. A key obstacle to using JE methods, however, is the inherent challenge of evaluating learned representations without access to a downstream task, and an annotated dataset. Without efficient and reliable evaluation, it is difficult to iterate on architectural and training choices for JE methods. In this paper, we introduce LiDAR (Linear Discriminant Analysis Rank), a metric designed to measure the quality of representations within JE architectures. Our metric addresses several shortcomings of recent approaches based on feature covariance rank by discriminating between informative and uninformative features. In essence, LiDAR quantifies the rank of the Linear Discriminant Analysis (LDA) matrix associated with the surrogate SSL task -- a measure that intuitively captures the information content as it pertains to solving the SSL task. We empirically demonstrate that LiDAR significantly surpasses naive rank based approaches in its predictive power of optimal hyperparameters. Our proposed criterion presents a more robust and intuitive means of assessing the quality of representations within JE architectures, which we hope facilitates broader adoption of these powerful techniques in various domains.
• Abstract（参考訳）: JEアーキテクチャは、転送可能なデータ表現を取得するための有望な道として登場した。 しかしjeメソッドを使用する上での重要な障害は、ダウンストリームタスクや注釈付きデータセットにアクセスせずに学習表現を評価することにある。 効率的で信頼性の高い評価がなければ、JEメソッドのアーキテクチャとトレーニングの選択を繰り返すのは難しい。 本稿では,JEアーキテクチャにおける表現の質を測定するための指標であるLiDAR(Linear Discriminant Analysis Rank)を紹介する。 我々は,情報的特徴と非形式的特徴の区別による特徴共分散ランクに基づく最近のアプローチの欠点について考察した。 本質的に、LiDARはSSLタスクに関連する線形識別分析(LDA)行列のランクを定量化します。 我々は、LiDARが最適なハイパーパラメータの予測能力において、ナイーブなランクに基づくアプローチをはるかに上回っていることを実証的に実証した。 提案する基準は,JEアーキテクチャにおける表現の質を評価するための,より堅牢で直感的な手段を提供する。

関連論文リスト

• NormXLogit: The Head-on-Top Never Lies [15.215985417763472]
  トランスフォーマーアーキテクチャは、大きな言語モデルを構築する上で主要な選択肢となっている。 個々の入力トークンの意義を評価するため,NormXLogitと呼ばれる新しい手法を提案する。 提案手法は,忠実度の観点から,既存の勾配法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-25T10:12:27Z)
• CODES: Benchmarking Coupled ODE Surrogates [0.0]
  CODESは、結合ODEシステムのためのサロゲートアーキテクチャの包括的な評価のためのベンチマークである。 統合並列トレーニング、Webベースの設定ジェネレータ、事前実装されたベースラインモデルとデータセットなどの機能を通じて、ユーザビリティを強調している。
  論文  参考訳（メタデータ） (2024-10-28T10:12:06Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [56.24431208419858]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 そこで本稿では,品質スコアに優先ペアを条件付け,報酬を加算したデータセットを構築する,効果的なデータレバーベリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data [0.0]
  自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、データ拡張が必要である。 本研究では,構造化データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。
  論文  参考訳（メタデータ） (2024-10-07T13:15:07Z)
• Position: LLM Unlearning Benchmarks are Weak Measures of Progress [31.957968729934745]
  既存のベンチマークでは、候補となる未学習手法の有効性について、過度に楽観的で誤解を招く可能性がある。 既存のベンチマークは特に、情報を忘れることと保持することの間に、さらに緩やかな依存関係をもたらす変更に対して脆弱である、と認識しています。
  論文  参考訳（メタデータ） (2024-10-03T18:07:25Z)
• Discriminant Distance-Aware Representation on Deterministic Uncertainty Quantification Methods [2.309984352134254]
  我々は、識別距離認識表現(DDAR)と呼ばれる、決定論的不確実性推定の新しい、効率的な方法を提案する。 DDARは、最適なトレーニング可能なプロトタイプよりも識別層を利用することで、識別可能な距離認識表現を学習することができる。 実験の結果,DDARは柔軟かつアーキテクチャに依存しない手法であり,距離依存性の指標を持つプラグ可能な層として容易に統合できることが判明した。
  論文  参考訳（メタデータ） (2024-02-20T02:26:48Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。