Fugu-MT 論文翻訳(概要): Maximum Manifold Capacity Representations in State Representation Learning

論文の概要: Maximum Manifold Capacity Representations in State Representation Learning

arxiv url: http://arxiv.org/abs/2405.13848v1
Date: Wed, 22 May 2024 17:19:30 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 21:02:51.499545
Title: Maximum Manifold Capacity Representations in State Representation Learning
Title（参考訳）: 状態表現学習における最大多様体容量表現
Authors: Li Meng, Morten Goodwin, Anis Yazidi, Paal Engelstad,
Abstract要約: 多様体に基づく自己教師付き学習(SSL)は、多様体仮説に基づいて構築される。アンバランスなアトラス(DIM-UA)を備えたDeepInfomaxが強力なツールとして登場した。 MMCRは、多様体圧縮によるクラス分離性を最適化することにより、SSLの新たなフロンティアを提供する。本稿では,既存のSSLメソッドへのMMCRの革新的な統合について述べる。
参考スコア（独自算出の注目度）: 8.938418994111716
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The expanding research on manifold-based self-supervised learning (SSL) builds on the manifold hypothesis, which suggests that the inherent complexity of high-dimensional data can be unraveled through lower-dimensional manifold embeddings. Capitalizing on this, DeepInfomax with an unbalanced atlas (DIM-UA) has emerged as a powerful tool and yielded impressive results for state representations in reinforcement learning. Meanwhile, Maximum Manifold Capacity Representation (MMCR) presents a new frontier for SSL by optimizing class separability via manifold compression. However, MMCR demands extensive input views, resulting in significant computational costs and protracted pre-training durations. Bridging this gap, we present an innovative integration of MMCR into existing SSL methods, incorporating a discerning regularization strategy that enhances the lower bound of mutual information. We also propose a novel state representation learning method extending DIM-UA, embedding a nuclear norm loss to enforce manifold consistency robustly. On experimentation with the Atari Annotated RAM Interface, our method improves DIM-UA significantly with the same number of target encoding dimensions. The mean F1 score averaged over categories is 78% compared to 75% of DIM-UA. There are also compelling gains when implementing SimCLR and Barlow Twins. This supports our SSL innovation as a paradigm shift, enabling more nuanced high-dimensional data representations.
Abstract（参考訳）: 多様体に基づく自己教師付き学習(SSL)の研究は、高次元データの固有の複雑さを低次元の多様体埋め込みによって解き放つことを示唆する多様体仮説に基づいている。これに乗じて、DeepInfomaxは非平衡アトラス(DIM-UA)が強力なツールとして登場し、強化学習における状態表現に対する印象的な結果を得た。一方、最大マニフォールド容量表現(MMCR)は、多様体圧縮によるクラス分離性を最適化することにより、SSLの新しいフロンティアを提示する。しかし、MMCRは広範な入力ビューを必要とするため、計算コストが大きくなり、事前学習期間が短縮される。このギャップを埋めて既存のSSLメソッドにMMCRを革新的に統合し、相互情報の低境界性を高めるための識別正規化戦略を導入する。また,DIM-UAを拡張した新しい状態表現学習手法を提案する。 Atari Annotated RAM Interface を用いた実験では,DIM-UA を目標符号化次元と同じ数で大幅に改善する。カテゴリー平均F1スコアは、DIM-UAの75%に比べて78%である。 SimCLRとBarlow Twinsを実装する際にも、魅力的な利益がある。これはSSLのイノベーションをパラダイムシフトとしてサポートし、よりニュアンスな高次元データ表現を可能にします。

関連論文リスト

Towards Scalable Semantic Representation for Recommendation [65.06144407288127]
大規模言語モデル(LLM)に基づく意味的IDを構築するために、Mixture-of-Codesを提案する。提案手法は,識別性と寸法の堅牢性に優れたスケーラビリティを実現し,提案手法で最高のスケールアップ性能を実現する。
論文参考訳（メタデータ） (2024-10-12T15:10:56Z)
Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文参考訳（メタデータ） (2024-09-26T13:38:33Z)
Towards an Improved Understanding and Utilization of Maximum Manifold Capacity Representations [29.69549286641418]
MMCR (Maximum Manifold Capacity Representations) は、MVSSLの他の主要な手法に適合または超越した自己教師付き学習手法である。 MMCRは学習した埋め込みのアライメントと均一性を動機付けていることを示す。二重降下に類似した前訓練損失の非単調な変化を実験的に確認した。次に,画像データに適用されたMMCRが,マルチモーダル画像テキストデータ上で動作可能であることを示す。
論文参考訳（メタデータ） (2024-06-13T17:49:56Z)
Enhancing Representation Learning on High-Dimensional, Small-Size Tabular Data: A Divide and Conquer Method with Ensembled VAEs [7.923088041693465]
特徴空間の部分集合の後方部分集合を学習するための軽量なVAEのアンサンブルを, 新規な分割コンカレントアプローチで結合後部分集合に集約する。このアプローチは推論時に部分的な機能に対して堅牢であることを示し、ほとんどの機能が欠落していても、パフォーマンスの劣化がほとんどないことを示します。
論文参考訳（メタデータ） (2023-06-27T17:55:31Z)
State Representation Learning Using an Unbalanced Atlas [8.938418994111716]
本稿では,非平衡アトラス(UA)を用いた,最先端の自己教師型学習手法を超越した新しい学習パラダイムを提案する。 DIM-UAの有効性は、Atari Annotated RAM Interfaceベンチマークのトレーニングと評価を通じて実証される。
論文参考訳（メタデータ） (2023-05-17T14:58:58Z)
Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations [4.666056064419346]
効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
論文参考訳（メタデータ） (2023-03-06T17:26:30Z)
Coarse-to-Fine Embedded PatchMatch and Multi-Scale Dynamic Aggregation for Reference-based Super-Resolution [48.093500219958834]
参照型スーパーリゾリューションのためのAMSA(Accelerated Multi-Scale Aggregation Network)を提案する。提案したAMSAは,定量評価と定性評価の両面において,最先端の手法よりも優れた性能を実現する。
論文参考訳（メタデータ） (2022-01-12T08:40:23Z)
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2021-10-29T02:12:18Z)
Multi-document Summarization with Maximal Marginal Relevance-guided Reinforcement Learning [54.446686397551275]
RL-MMRは、古典的MDSで使用される高度な神経SDS法と統計測度を統一する。 RL-MMRは、より少ない有望な候補にMMRガイダンスを投入し、探索空間を抑え、より良い表現学習をもたらす。
論文参考訳（メタデータ） (2020-09-30T21:50:46Z)
Reinforcement Learning with Augmented Data [97.42819506719191]
本稿では,ほとんどのRLアルゴリズムを拡張可能なシンプルなプラグイン・アンド・プレイモジュールであるReinforcement Learning with Augmented Data (RAD)を提案する。本稿では,RLアルゴリズムが複雑な最先端手法より優れていることを示すために,ランダム翻訳,作物,カラージッタ,パッチカットアウト,ランダム畳み込み,振幅スケールなどの拡張法を提案する。
論文参考訳（メタデータ） (2020-04-30T17:35:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。