論文の概要: Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations

• arxiv url: http://arxiv.org/abs/2303.03307v1
• Date: Mon, 6 Mar 2023 17:26:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-07 15:10:00.524838
• Title: Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations
• Title（参考訳）: 最大マニフォールド容量表現による自然画像の効率的な符号化
• Authors: Thomas Yerxa, Yilun Kuang, Eero Simoncelli, SueYeon Chung
• Abstract要約: 我々は、この問題を、多様体のキャパシティを採用することで、効率的な符号化の観点で再放送する。 コントラスト学習フレームワークにおける目的関数として用いた多様体容量を適応する。 MMCRは、最近開発されたSSLフレームワークに匹敵する、またはそれを超えるオブジェクト認識のパフォーマンスをサポートする。
• 参考スコア（独自算出の注目度）: 3.0204520109309847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised Learning (SSL) provides a strategy for constructing useful representations of images without relying on hand-assigned labels. Many such methods aim to map distinct views of the same scene or object to nearby points in the representation space, while employing some constraint to prevent representational collapse. Here we recast the problem in terms of efficient coding by adopting manifold capacity, a measure that quantifies the quality of a representation based on the number of linearly separable object manifolds it can support, as the efficiency metric to optimize. Specifically, we adapt the manifold capacity for use as an objective function in a contrastive learning framework, yielding a Maximum Manifold Capacity Representation (MMCR). We apply this method to unlabeled images, each augmented by a set of basic transformations, and find that it learns meaningful features using the standard linear evaluation protocol. Specifically, we find that MMCRs support performance on object recognition comparable to or surpassing that of recently developed SSL frameworks, while providing more robustness to adversarial attacks. Empirical analyses reveal differences between MMCRs and representations learned by other SSL frameworks, and suggest a mechanism by which manifold compression gives rise to class separability.
• Abstract（参考訳）: 自己教師付き学習(ssl)は、手書きラベルに依存することなく、画像の有用な表現を構築するための戦略を提供する。 そのような方法の多くは、同じシーンやオブジェクトの異なるビューを、表現空間内の近くのポイントにマッピングすることを目的としている。 ここでは、最適化の効率指標として、サポートできる線形分離可能な対象多様体の数に基づいて表現の質を定量化する尺度である多様体容量を採用することで、効率的な符号化という観点から問題を再キャストする。 具体的には、比較学習フレームワークにおける目的関数として用いた多様体容量を適応させ、最大マニフォールド容量表現(MMCR)を生成する。 この手法をラベルのない画像に適用し,それぞれに基本変換のセットを付加し,標準線形評価プロトコルを用いて有意義な特徴を学習する。 具体的には、最近開発されたSSLフレームワークに匹敵するオブジェクト認識のパフォーマンスをMMCRがサポートし、敵攻撃に対してより堅牢性を提供します。 経験的分析により、MMCRと他のSSLフレームワークで学んだ表現の違いが明らかとなり、多様体圧縮がクラス分離性をもたらすメカニズムが示唆された。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Maximum Manifold Capacity Representations in State Representation Learning [8.938418994111716]
  多様体に基づく自己教師付き学習(SSL)は、多様体仮説に基づいて構築される。 アンバランスなアトラス(DIM-UA)を備えたDeepInfomaxが強力なツールとして登場した。 MMCRは、多様体圧縮によるクラス分離性を最適化することにより、SSLの新たなフロンティアを提供する。 本稿では,既存のSSLメソッドへのMMCRの革新的な統合について述べる。
  論文  参考訳（メタデータ） (2024-05-22T17:19:30Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
  本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。 本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
  論文  参考訳（メタデータ） (2024-02-14T16:10:42Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Extension of Transformational Machine Learning: Classification Problems [0.0]
  本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。 メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。 薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-08-07T07:34:18Z)
• Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
  疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。 予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
  論文  参考訳（メタデータ） (2022-10-19T12:20:07Z)
• Autoregressive Hidden Markov Models with partial knowledge on latent space applied to aero-engines prognostics [2.179313476241343]
  本稿では,ARPHMM(Auto Regressive Partially-hidden Markov Model)を用いて,センサデータに基づく機器の故障検出と予後予測を行う。 健康指標に基づいて,このモデルを用いて残りの生活を推定する方法を示す。
  論文  参考訳（メタデータ） (2021-05-01T10:23:22Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。