Fugu-MT 論文翻訳(概要): State Representation Learning Using an Unbalanced Atlas

論文の概要: State Representation Learning Using an Unbalanced Atlas

arxiv url: http://arxiv.org/abs/2305.10267v2
Date: Mon, 5 Feb 2024 10:09:29 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 06:43:56.066836
Title: State Representation Learning Using an Unbalanced Atlas
Title（参考訳）: 非平衡アトラスを用いた状態表現学習
Authors: Li Meng, Morten Goodwin, Anis Yazidi, Paal Engelstad
Abstract要約: 本稿では,非平衡アトラス(UA)を用いた,最先端の自己教師型学習手法を超越した新しい学習パラダイムを提案する。 DIM-UAの有効性は、Atari Annotated RAM Interfaceベンチマークのトレーニングと評価を通じて実証される。
参考スコア（独自算出の注目度）: 9.764580619424713
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The manifold hypothesis posits that high-dimensional data often lies on a lower-dimensional manifold and that utilizing this manifold as the target space yields more efficient representations. While numerous traditional manifold-based techniques exist for dimensionality reduction, their application in self-supervised learning has witnessed slow progress. The recent MSimCLR method combines manifold encoding with SimCLR but requires extremely low target encoding dimensions to outperform SimCLR, limiting its applicability. This paper introduces a novel learning paradigm using an unbalanced atlas (UA), capable of surpassing state-of-the-art self-supervised learning approaches. We investigated and engineered the DeepInfomax with an unbalanced atlas (DIM-UA) method by adapting the Spatiotemporal DeepInfomax (ST-DIM) framework to align with our proposed UA paradigm. The efficacy of DIM-UA is demonstrated through training and evaluation on the Atari Annotated RAM Interface (AtariARI) benchmark, a modified version of the Atari 2600 framework that produces annotated image samples for representation learning. The UA paradigm improves existing algorithms significantly as the number of target encoding dimensions grows. For instance, the mean F1 score averaged over categories of DIM-UA is ~75% compared to ~70% of ST-DIM when using 16384 hidden units.
Abstract（参考訳）: 多様体仮説は、高次元データはしばしば低次元多様体上にあり、この多様体を対象空間として利用するとより効率的な表現が得られると仮定する。多くの伝統的な多様体に基づく手法が次元の減少のために存在するが、自己教師あり学習への応用は遅い進歩を目撃している。最近のMSimCLR法は、多様体エンコーディングとSimCLRを組み合わせるが、その適用性を制限するために非常に低い目標エンコーディング次元を必要とする。本稿では,最先端の自己教師付き学習アプローチを超越するアンバランス・アトラス(ua)を用いた新しい学習パラダイムを提案する。提案したUAパラダイムに適合する時空間DeepInfomax(ST-DIM)フレームワークを適用して,DeepInfomaxを非平衡アトラス(DIM-UA)方式で検討・設計した。 DIM-UAの有効性はAtari Annotated RAM Interface (AtariARI)ベンチマークのトレーニングと評価を通じて実証される。 UAパラダイムは、ターゲット符号化次元の増大に伴って既存のアルゴリズムを大幅に改善する。例えば、DIM-UAのカテゴリの平均F1スコアは16384の隠れユニットを使用すると、ST-DIMの70%に比べて75%程度である。

関連論文リスト

Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
論文参考訳（メタデータ） (2024-09-26T13:38:33Z)
Maximum Manifold Capacity Representations in State Representation Learning [8.938418994111716]
多様体に基づく自己教師付き学習(SSL)は、多様体仮説に基づいて構築される。アンバランスなアトラス(DIM-UA)を備えたDeepInfomaxが強力なツールとして登場した。 MMCRは、多様体圧縮によるクラス分離性を最適化することにより、SSLの新たなフロンティアを提供する。本稿では,既存のSSLメソッドへのMMCRの革新的な統合について述べる。
論文参考訳（メタデータ） (2024-05-22T17:19:30Z)
Learning Feature Inversion for Multi-class Anomaly Detection under General-purpose COCO-AD Benchmark [101.23684938489413]
異常検出(AD)は、しばしば産業品質検査や医学的病変検査のための異常の検出に焦点が当てられている。この研究はまず、COCOをADフィールドに拡張することにより、大規模で汎用的なCOCO-ADデータセットを構築する。セグメンテーション分野のメトリクスにインスパイアされた我々は、より実用的なしきい値に依存したAD固有のメトリクスをいくつか提案する。
論文参考訳（メタデータ） (2024-04-16T17:38:26Z)
Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文参考訳（メタデータ） (2024-01-18T08:12:23Z)
Provable Multi-instance Deep AUC Maximization with Stochastic Pooling [39.46116380220933]
本稿では,マルチインスタンス学習(MIL)における深層AUC(DAM)の新たな応用について考察する。単一のクラスラベルは、インスタンスのバッグに割り当てられる(例えば、患者のためのスキャンの複数の2Dスライスなど)。
論文参考訳（メタデータ） (2023-05-14T01:29:56Z)
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
論文参考訳（メタデータ） (2023-01-27T22:04:37Z)
Hybridization of Capsule and LSTM Networks for unsupervised anomaly detection on multivariate data [0.0]
本稿では,Long-Short-Term-Memory(LSTM)とCapsule Networksを1つのネットワークに結合した新しいNNアーキテクチャを提案する。提案手法は教師なし学習手法を用いて大量のラベル付きトレーニングデータを見つける際の問題を克服する。
論文参考訳（メタデータ） (2022-02-11T10:33:53Z)
Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文参考訳（メタデータ） (2021-10-29T02:12:18Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Atlas Based Representation and Metric Learning on Manifolds [0.0]
本稿では,ニューラルネットワークに基づく表現学習タスクのターゲット空間として,グラフの集合として表される位相多様体の利用について検討する。これは、エンコーダのネットワークアーキテクチャの出力に対する簡単な調整と、正規化のための最大平均不一致(MMD)に基づく損失関数の追加によって達成される。
論文参考訳（メタデータ） (2021-06-13T18:05:46Z)
Revisiting Training Strategies and Generalization Performance in Deep Metric Learning [28.54755295856929]
我々は、最も広く使われているDML目的関数を再検討し、重要なパラメータ選択について検討する。一貫した比較では、DMLの目的は文学で示されるよりもはるかに高い飽和を示す。これらの知見を公開し、ランキングベースのDMLモデルの性能を確実に向上させるために、単純かつ効果的に正規化を訓練することを提案する。
論文参考訳（メタデータ） (2020-02-19T22:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。