Fugu-MT 論文翻訳(概要): Eigen Memory Tree

論文の概要: Eigen Memory Tree

arxiv url: http://arxiv.org/abs/2210.14077v2
Date: Wed, 26 Oct 2022 20:11:23 GMT
ステータス: 処理完了
システム内更新日: 2022-10-28 14:48:13.954195
Title: Eigen Memory Tree
Title（参考訳）: 固有メモリツリー
Authors: Mark Rucker, Jordan T. Ash, John Langford, Paul Mineiro, Ida Momennejad
Abstract要約: この研究は、シーケンシャルな学習シナリオのための新しいオンラインメモリモデルであるEigen Memory Tree (EMT)を紹介している。我々は,EMTが既存のオンラインメモリの手法より優れていることを示すとともに,その性能を劇的に向上させるハイブリッド化EMTパラメトリックアルゴリズムを提供する。本研究は,OpenMLリポジトリの206データセットを用いて,メモリのバウンダリと無限のバウンダリの両方で検証した。
参考スコア（独自算出の注目度）: 27.33148786536804
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This work introduces the Eigen Memory Tree (EMT), a novel online memory model for sequential learning scenarios. EMTs store data at the leaves of a binary tree and route new samples through the structure using the principal components of previous experiences, facilitating efficient (logarithmic) access to relevant memories. We demonstrate that EMT outperforms existing online memory approaches, and provide a hybridized EMT-parametric algorithm that enjoys drastically improved performance over purely parametric methods with nearly no downsides. Our findings are validated using 206 datasets from the OpenML repository in both bounded and infinite memory budget situations.
Abstract（参考訳）: 本稿では,逐次学習シナリオのための新しいオンラインメモリモデルであるemt(eigen memory tree)を紹介する。 EMTはバイナリツリーの葉にデータを格納し、以前の経験の主成分を使用して構造を通して新しいサンプルをルーティングし、関連する記憶への効率的な(対数的な)アクセスを容易にする。我々は、emtが既存のオンラインメモリアプローチを上回ることを実証し、ほぼ欠点のない純粋パラメトリック法よりも大幅に性能が向上するハイブリッド化emtパラメトリックアルゴリズムを提供する。本研究は,OpenMLリポジトリの206データセットを用いて,メモリのバウンダリと無限のバウンダリの両方で検証した。

関連論文リスト

B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文参考訳（メタデータ） (2024-07-08T18:41:01Z)
Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文参考訳（メタデータ） (2023-10-17T01:05:28Z)
Frustratingly Simple Memory Efficiency for Pre-trained Language Models via Dynamic Embedding Pruning [42.652021176354644]
プレトレーニング言語モデル(PLM)のメモリフットプリントは、メモリ制限された設定でのデプロイメントを妨げる可能性がある。本稿では, 組込み行列のメモリフットプリントを最小化するために, この発見を活用する, 単純かつ効果的な手法を提案する。このアプローチは、幅広いモデルやタスクにわたるメモリ使用量を大幅に削減することを示している。
論文参考訳（メタデータ） (2023-09-15T19:00:00Z)
EMO: Episodic Memory Optimization for Few-Shot Meta-Learning [69.50380510879697]
メタ学習のためのエピソード記憶最適化は、EMOと呼ばれ、脳の記憶から過去の学習経験を思い出す人間の能力にインスパイアされている。 EMOは、限られた数の例によって提供される勾配が非形式的である場合でも、パラメータを正しい方向に更新する。 EMOは、ほとんど数ショットの分類ベンチマークでうまくスケールし、最適化ベースのメタラーニング手法の性能を改善している。
論文参考訳（メタデータ） (2023-06-08T13:39:08Z)
Dynamic Ensemble Size Adjustment for Memory Constrained Mondrian Forest [0.0]
本稿では,メモリ制約下では,木に基づくアンサンブル分類器のサイズを増大させることで,その性能が悪化することを示す。データストリーム上でメモリバウンドのモンドリアン林に最適なアンサンブルサイズが存在することを実験的に示す。本手法は,安定なデータセットに対して,最適な大きさのモンドリアン林の性能の最大95%を達成できると結論付けた。
論文参考訳（メタデータ） (2022-10-11T18:05:58Z)
A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文参考訳（メタデータ） (2022-10-10T08:27:28Z)
A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文参考訳（メタデータ） (2022-05-26T08:24:01Z)
Mondrian Forest for Data Stream Classification Under Memory Constraints [0.0]
オンラインのモンドリアン森林分類アルゴリズムを適用し,データストリームのメモリ制約に対処する。メモリ限界に達すると、新しいデータポイントでMondrianツリーを更新するための5つのメモリ外戦略を設計します。また、メモリ制約下でのドリフトの概念に対して、Mondrian木をより堅牢にするためのトリミング機構を設計する。
論文参考訳（メタデータ） (2022-05-12T15:35:03Z)
Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文参考訳（メタデータ） (2021-02-24T19:55:49Z)
PeTra: A Sparsely Supervised Memory Model for People Tracking [50.98911178059019]
メモリスロット内のエンティティを追跡するように設計されたメモリ拡張ニューラルネットワークであるPeTraを提案する。我々は、重要なモデリング選択を経験的に比較し、強い性能を維持しながら、メモリモジュールの設計のいくつかの側面を単純化できることを見出した。 PeTraは両方の評価に非常に効果的で、限られたアノテーションで訓練されているにもかかわらず、メモリ内の人々を追跡できる能力を示している。
論文参考訳（メタデータ） (2020-05-06T17:45:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。