Fugu-MT 論文翻訳(概要): Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations

論文の概要: Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations

arxiv url: http://arxiv.org/abs/2303.03307v2
Date: Sun, 3 Dec 2023 21:35:35 GMT
ステータス: 処理完了
システム内更新日: 2023-12-06 01:25:18.119743
Title: Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations
Title（参考訳）: 最大マニフォールド容量表現による自然画像の効率的な符号化
Authors: Thomas Yerxa, Yilun Kuang, Eero Simoncelli, SueYeon Chung
Abstract要約: 効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
参考スコア（独自算出の注目度）: 4.666056064419346
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The efficient coding hypothesis proposes that the response properties of sensory systems are adapted to the statistics of their inputs such that they capture maximal information about the environment, subject to biological constraints. While elegant, information theoretic properties are notoriously difficult to measure in practical settings or to employ as objective functions in optimization. This difficulty has necessitated that computational models designed to test the hypothesis employ several different information metrics ranging from approximations and lower bounds to proxy measures like reconstruction error. Recent theoretical advances have characterized a novel and ecologically relevant efficiency metric, the manifold capacity, which is the number of object categories that may be represented in a linearly separable fashion. However, calculating manifold capacity is a computationally intensive iterative procedure that until now has precluded its use as an objective. Here we outline the simplifying assumptions that allow manifold capacity to be optimized directly, yielding Maximum Manifold Capacity Representations (MMCR). The resulting method is closely related to and inspired by advances in the field of self supervised learning (SSL), and we demonstrate that MMCRs are competitive with state of the art results on standard SSL benchmarks. Empirical analyses reveal differences between MMCRs and representations learned by other SSL frameworks, and suggest a mechanism by which manifold compression gives rise to class separability. Finally we evaluate a set of SSL methods on a suite of neural predictivity benchmarks, and find MMCRs are higly competitive as models of the ventral stream.
Abstract（参考訳）: 効率的な符号化仮説は、感覚系の応答特性を、生物的な制約を受ける環境に関する最大情報を取り込むように入力の統計に適応させるものであることを示唆する。エレガントではあるものの、情報理論特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。この困難さは、仮説をテストするために設計された計算モデルが近似や下界から再構成誤差のようなプロキシ測度まで、いくつかの異なる情報メトリクスを使用する必要がある。近年の理論的進歩は、線形分離可能な方法で表現できる対象圏の個数である多様体容量という、新しく生態学的に関係のある効率指標を特徴付けている。しかし、多様体のキャパシティの計算は計算集約的な反復手順であり、これまでは目的としての使用を妨げてきた。ここでは、多様体の容量を直接最適化できる単純化された仮定を概説し、最大多様体容量表現(MMCR)を得る。本手法は,自己教師付き学習(SSL)の分野での進歩と密接に結びついており,標準SSLベンチマークの成果とMMCRが競合することを示す。経験的分析により、MMCRと他のSSLフレームワークで学んだ表現の違いが明らかとなり、多様体圧縮がクラス分離性をもたらすメカニズムが示唆された。最後に,神経予測ベンチマークを用いたssl法の評価を行い,mmcrは腹側流のモデルとして極めて競争力があることを示す。

関連論文リスト

Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
論文参考訳（メタデータ） (2024-11-04T16:12:37Z)
Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文参考訳（メタデータ） (2024-09-26T13:38:33Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
Maximum Manifold Capacity Representations in State Representation Learning [8.938418994111716]
多様体に基づく自己教師付き学習(SSL)は、多様体仮説に基づいて構築される。アンバランスなアトラス(DIM-UA)を備えたDeepInfomaxが強力なツールとして登場した。 MMCRは、多様体圧縮によるクラス分離性を最適化することにより、SSLの新たなフロンティアを提供する。本稿では,既存のSSLメソッドへのMMCRの革新的な統合について述べる。
論文参考訳（メタデータ） (2024-05-22T17:19:30Z)
Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文参考訳（メタデータ） (2024-03-11T05:35:38Z)
Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification [72.77513633290056]
本稿では, 学習モデルを用いて評価したヘッセン行列をトレーニングセットで評価した共分散行列の固有解析と, 深層学習モデルで評価したヘッセン行列を組み合わせた新しい手法を提案する。本手法は複雑なパターンと関係を抽出し,分類性能を向上する。
論文参考訳（メタデータ） (2024-02-14T16:10:42Z)
Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文参考訳（メタデータ） (2023-12-19T21:45:38Z)
Extension of Transformational Machine Learning: Classification Problems [0.0]
本研究では、薬物発見における変換機械学習(TML)の適用と性能について検討する。メタ学習アルゴリズムであるTMLは、さまざまなドメインにまたがる共通属性の活用に優れています。薬物発見プロセスは複雑で時間を要するが、予測精度の増大から大きな恩恵を受けることができる。
論文参考訳（メタデータ） (2023-08-07T07:34:18Z)
Self-learning locally-optimal hypertuning using maximum entropy, and comparison of machine learning approaches for estimating fatigue life in composite materials [0.0]
疲労損傷を予測するための最大エントロピーの原理に基づくML近傍近似アルゴリズムを開発した。予測は、他のMLアルゴリズムと同様、高いレベルの精度を達成する。
論文参考訳（メタデータ） (2022-10-19T12:20:07Z)
Autoregressive Hidden Markov Models with partial knowledge on latent space applied to aero-engines prognostics [2.179313476241343]
本稿では,ARPHMM(Auto Regressive Partially-hidden Markov Model)を用いて,センサデータに基づく機器の故障検出と予後予測を行う。健康指標に基づいて,このモデルを用いて残りの生活を推定する方法を示す。
論文参考訳（メタデータ） (2021-05-01T10:23:22Z)
Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
論文参考訳（メタデータ） (2020-06-17T22:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。