論文の概要: Self-Balancing, Memory Efficient, Dynamic Metric Space Data Maintenance, for Rapid Multi-Kernel Estimation

• arxiv url: http://arxiv.org/abs/2504.18003v1
• Date: Fri, 25 Apr 2025 01:15:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.605321
• Title: Self-Balancing, Memory Efficient, Dynamic Metric Space Data Maintenance, for Rapid Multi-Kernel Estimation
• Title（参考訳）: 高速マルチカーネル推定のための自己バランシング, メモリ効率, ダイナミックメトリック空間データ保守
• Authors: Aditya S Ellendula, Chandrajit Bajaj,
• Abstract要約: 本稿では,進化する距離空間における効率的な近傍維持を可能にする,動的自己分散オクツリーデータ構造を提案する。 我々の手法は、特に高次元空間において、精度を維持しながら指数的なスピードアップをもたらす。
• 参考スコア（独自算出の注目度）: 2.6756996523251964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a dynamic self-balancing octree data structure that enables efficient neighborhood maintenance in evolving metric spaces, a key challenge in modern machine learning systems. Many learning and generative models operate as dynamical systems whose representations evolve during training, requiring fast, adaptive spatial organization. Our two-parameter octree supports logarithmic-time updates and queries, eliminating the need for costly full rebuilds as data distributions shift. We demonstrate its effectiveness in four areas: (1) accelerating Stein variational gradient descent by supporting more particles with lower overhead; (2) enabling real-time, incremental KNN classification with logarithmic complexity; (3) facilitating efficient, dynamic indexing and retrieval for retrieval-augmented generation; and (4) improving sample efficiency by jointly optimizing input and latent spaces. Across all applications, our approach yields exponential speedups while preserving accuracy, particularly in high-dimensional spaces where maintaining adaptive spatial structure is critical.
• Abstract（参考訳）: 本稿では,現代の機械学習システムにおいて重要な課題である,進化する距離空間における効率的な近傍維持を可能にする,動的自己分散オクツリーデータ構造を提案する。 多くの学習モデルと生成モデルは、訓練中に表現が進化する力学系として機能し、高速で適応的な空間構造を必要とする。 当社の2パラメータオクツリーは対数時間更新とクエリをサポートします。 提案手法の有効性は,(1) より多くの粒子を低オーバーヘッドで支持することにより, スタイン変分勾配降下を加速すること,(2) 対数複雑性を伴う実時間・漸進的なKNN分類を可能にすること,(3) 検索拡張生成のための効率的な動的インデックス化と検索を容易にすること,(4) 入力空間と潜時空間を協調的に最適化することで試料効率を向上させること,の4つの領域で示される。 特に適応的な空間構造を維持することが重要となる高次元空間において, 精度を保ちながら指数的高速化を実現する。

関連論文リスト

• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• MATEY: multiscale adaptive foundation models for spatiotemporal physical systems [2.7767126393602726]
  局所的な特徴に基づくパッチサイズを動的に調整する2つの適応トークン化方式を提案する。 提案するマルチスケール適応モデルであるMATEYの性能を実験で評価する。 また、PDEデータに基づいて事前学習した物理を特徴とする微調整タスクについても紹介する。
  論文  参考訳（メタデータ） (2024-12-29T22:13:16Z)
• LD-EnSF: Synergizing Latent Dynamics with Ensemble Score Filters for Fast Data Assimilation with Sparse Observations [3.583387803440918]
  フルダイナミックス進化を完全に回避する新しい方法論であるLatent Dynamics EnSF(LD-EnSF)を紹介した。 また,Long Short-Term Memory (LSTM) ネットワークを用いて,スパース観測を潜在空間に符号化する手法を提案する。
  論文  参考訳（メタデータ） (2024-11-28T18:27:11Z)
• LOCAL: Learning with Orientation Matrix to Infer Causal Structure from Time Series Data [51.47827479376251]
  LOCALは動的因果構造を復元するための効率的で実装が容易で制約のない手法である。 Asymptotic Causal Learning Mask (ACML) と Dynamic Graph Learning (DGPL) 合成および実世界のデータセットの実験では、LOCALが既存の手法よりも大幅に優れていることが示されている。
  論文  参考訳（メタデータ） (2024-10-25T10:48:41Z)
• CCDSReFormer: Traffic Flow Prediction with a Criss-Crossed Dual-Stream Enhanced Rectified Transformer Model [32.45713037210818]
  我々はCriss-Crossed Dual-Stream Enhanced Rectified Transformer Model (CCDSReFormer)を紹介する。 ReSSA(Enhanced Rectified Spatial Self-attention)、ReDASA(Enhanced Rectified Delay Aware Self-attention)、ReTSA(Enhanced Rectified Temporal Self-attention)の3つの革新的なモジュールが含まれている。 これらのモジュールは、疎注意による計算ニーズの低減、トラフィックダイナミクスの理解向上のためのローカル情報への注力、ユニークな学習手法による空間的および時間的洞察の融合を目的としている。
  論文  参考訳（メタデータ） (2024-03-26T14:43:57Z)
• Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction [1.8531577178922987]
  本稿では,ハイブリッドトランスフォーマーと自己教師型学習を組み合わせたモデルを提案する。 このモデルは、トラフィックのシーケンスレベルにデータ拡張技術を適用することにより、適応的なデータ拡張を強化する。 本研究では,時間的および空間的依存をモデル化する2つの自己教師型学習タスクを設計し,モデルの精度と能力を向上させる。
  論文  参考訳（メタデータ） (2024-01-29T06:17:23Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Performance Embeddings: A Similarity-based Approach to Automatic Performance Optimization [71.69092462147292]
  パフォーマンス埋め込みは、アプリケーション間でパフォーマンスチューニングの知識伝達を可能にする。 本研究では, 深層ニューラルネットワーク, 密度およびスパース線形代数合成, および数値風速予測ステンシルのケーススタディにおいて, この伝達チューニング手法を実証する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:35Z)
• Dynamic Spatial Sparsification for Efficient Vision Transformers and Convolutional Neural Networks [88.77951448313486]
  視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。 本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。 提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
  論文  参考訳（メタデータ） (2022-07-04T17:00:51Z)
• Towards Structured Dynamic Sparse Pre-Training of BERT [4.567122178196833]
  BERT言語モデリングタスクのための、単純で動的で、常にスパースな事前学習手法を開発し、研究する。 粗い粒度のブロック間隔を使用する場合、トレーニングはFLOP効率を保ち、現代のハードウェアアクセラレーター上での効率的な実行を特に有望であることを示す。
  論文  参考訳（メタデータ） (2021-08-13T14:54:26Z)
• Adaptive Latent Space Tuning for Non-Stationary Distributions [62.997667081978825]
  本稿では,ディープエンコーダ・デコーダ方式cnnの低次元潜在空間の適応チューニング法を提案する。 粒子加速器における時間変動荷電粒子ビームの特性を予測するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2021-05-08T03:50:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。