論文の概要: Dynamic Ensemble Size Adjustment for Memory Constrained Mondrian Forest
- arxiv url: http://arxiv.org/abs/2210.05704v1
- Date: Tue, 11 Oct 2022 18:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 15:15:25.988300
- Title: Dynamic Ensemble Size Adjustment for Memory Constrained Mondrian Forest
- Title（参考訳）: メモリ制約付きモンドリアン森林の動的アンサンブルサイズ調整
- Authors: Martin Khannouz and Tristan Glatard
- Abstract要約: 本稿では,メモリ制約下では,木に基づくアンサンブル分類器のサイズを増大させることで,その性能が悪化することを示す。
データストリーム上でメモリバウンドのモンドリアン林に最適なアンサンブルサイズが存在することを実験的に示す。
本手法は,安定なデータセットに対して,最適な大きさのモンドリアン林の性能の最大95%を達成できると結論付けた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Supervised learning algorithms generally assume the availability of enough
memory to store data models during the training and test phases. However, this
assumption is unrealistic when data comes in the form of infinite data streams,
or when learning algorithms are deployed on devices with reduced amounts of
memory. Such memory constraints impact the model behavior and assumptions. In
this paper, we show that under memory constraints, increasing the size of a
tree-based ensemble classifier can worsen its performance. In particular, we
experimentally show the existence of an optimal ensemble size for a
memory-bounded Mondrian forest on data streams and we design an algorithm to
guide the forest toward that optimal number by using an estimation of
overfitting. We tested different variations for this algorithm on a variety of
real and simulated datasets, and we conclude that our method can achieve up to
95% of the performance of an optimally-sized Mondrian forest for stable
datasets, and can even outperform it for datasets with concept drifts. All our
methods are implemented in the OrpailleCC open-source library and are ready to
be used on embedded systems and connected objects.
- Abstract（参考訳）: 教師付き学習アルゴリズムは一般的に、トレーニングとテストフェーズ中にデータモデルを保存するのに十分なメモリが利用できると仮定する。
しかし、この仮定は、データが無限のデータストリームの形になる場合や、学習アルゴリズムがメモリを減らしたデバイスにデプロイされる場合、非現実的である。
このようなメモリ制約はモデルの振る舞いや仮定に影響する。
本稿では,メモリ制約下では,木に基づくアンサンブル分類器のサイズが大きくなると性能が悪化することを示す。
特に,メモリバウンドのモンドリアン林において,データストリーム上に最適なアンサンブルサイズが存在することを実験的に示し,オーバーフィッティング推定を用いて森林を最適な数に導くアルゴリズムを設計する。
本手法は,様々な実データとシミュレーションデータを用いて異なるバリエーションを検証し,安定なデータセットに対する最適サイズのモンドリアンフォレストの性能の最大95%を達成でき,かつ,概念ドリフトのあるデータセットに対してその性能を上回ることさえ可能と結論づけた。
私たちのメソッドはすべて、orpailleccオープンソースライブラリに実装されており、組み込みシステムやコネクテッドオブジェクトで使用できる準備ができています。
関連論文リスト
- Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance [15.877771709013743]
本研究では,3次重み付き埋め込みモデルのためのファインタニングフレームワークを提案する。
プレトレーニング埋込みモデルに三元化を適用するため, 線形層の三元重みを確定するために, 自己学習型知識蒸留を導入する。
パブリックテキストとビジョンデータセットに関する広範な実験により、テナライズされたモデルは、有効性を犠牲にすることなく、低メモリ使用量を消費することを示した。
論文 参考訳（メタデータ） (2024-11-23T03:44:56Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳（メタデータ） (2023-07-19T04:07:33Z) - Eigen Memory Tree [27.33148786536804]
この研究は、シーケンシャルな学習シナリオのための新しいオンラインメモリモデルであるEigen Memory Tree (EMT)を紹介している。
我々は,EMTが既存のオンラインメモリの手法より優れていることを示すとともに,その性能を劇的に向上させるハイブリッド化EMTパラメトリックアルゴリズムを提供する。
本研究は,OpenMLリポジトリの206データセットを用いて,メモリのバウンダリと無限のバウンダリの両方で検証した。
論文 参考訳（メタデータ） (2022-10-25T14:57:41Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Mondrian Forest for Data Stream Classification Under Memory Constraints [0.0]
オンラインのモンドリアン森林分類アルゴリズムを適用し,データストリームのメモリ制約に対処する。
メモリ限界に達すると、新しいデータポイントでMondrianツリーを更新するための5つのメモリ外戦略を設計します。
また、メモリ制約下でのドリフトの概念に対して、Mondrian木をより堅牢にするためのトリミング機構を設計する。
論文 参考訳（メタデータ） (2022-05-12T15:35:03Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - SreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm [60.61943386819384]
既存のKRRの実装では、すべてのデータがメインメモリに格納される必要がある。
KRRのストリーミング版であるStreaMRAKを提案する。
本稿では,2つの合成問題と2重振り子の軌道予測について紹介する。
論文 参考訳（メタデータ） (2021-08-23T21:03:09Z) - An Adaptive Framework for Learning Unsupervised Depth Completion [59.17364202590475]
カラー画像から高密度深度マップとそれに伴うスパース深度測定を推定する手法を提案する。
正規化とコビジュアライゼーションは、モデルの適合度とデータによって関連付けられており、単一のフレームワークに統合可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T02:27:55Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳（メタデータ） (2021-02-24T19:55:49Z) - Memory-Efficient Sampling for Minimax Distance Measures [4.873362301533825]
本稿では,メモリ要求を低減し,線形空間の複雑さを提供するため,効率的なサンプリング手法について検討する。
そこで本研究では,異なる領域の実世界のデータセット上での手法の評価を行い,その結果を分析した。
論文 参考訳（メタデータ） (2020-05-26T11:00:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。