論文の概要: Depth-Dependent Hidden-State Collapse in Dynamical System Autoencoders for LiDAR Point-Cloud Classification
- arxiv url: http://arxiv.org/abs/2607.14463v1
- Date: Thu, 16 Jul 2026 01:20:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.942179
- Title: Depth-Dependent Hidden-State Collapse in Dynamical System Autoencoders for LiDAR Point-Cloud Classification
- Title(参考訳): LiDARポイントクラウド分類のための動的システムオートエンコーダの深さ依存性隠れ状態崩壊
- Authors: Patricia Medina, Hy P. G. Lam,
- Abstract要約: 空間座標と製品係数を用いたLiDAR点雲分類のための動的システムオートエンコーダ(DSAE)について検討した。
実験では、エンコーダ深さが$K=1,ldots,5$で個別にトレーニングされたDSAEアーキテクチャを比較し、ランダムフォレスト、kNN、および多数クラスのDummyベースラインで結果の隠れ表現を評価する。
主な発見は、隠れ状態の崩壊で$K=5$である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study Dynamical System Autoencoders (DSAE) for LiDAR point-cloud classification using spatial coordinates and Product Coefficient feature augmentations. The experiments compare separately trained DSAE architectures at encoder depths $K=1,\ldots,5$ and evaluate the resulting hidden representations with Random Forest, kNN, and a majority-class Dummy baseline. The main finding is a hidden-state collapse at $K=5$. For both xyz and xyz plus Product Coefficient inputs, the hidden-state standard deviation falls to the order of $10^{-5}$, while all three classifiers attain the same macro F1 score of $0.224688$. We prove that between-class hidden scatter is bounded by total hidden scatter, which in turn is controlled by the reported hidden-state variance. Thus a nearly constant hidden representation cannot retain substantial class-separating structure. Product Coefficients neither improve pre-collapse macro F1 nor prevent the $K=5$ collapse in the present DSAE setting. These results identify large-depth representation collapse as a concrete failure mode for DSAE LiDAR classification.
- Abstract(参考訳): 空間座標と製品係数を用いたLiDAR点雲分類のための動的システムオートエンコーダ(DSAE)について検討した。
実験では、エンコーダ深さが$K=1,\ldots,5$で個別にトレーニングされたDSAEアーキテクチャを比較し、ランダムフォレスト、kNN、および多数クラスのDummyベースラインで結果の隠れ表現を評価した。
主な発見は、隠れ状態の崩壊で$K=5$である。
xyz と xyz と Product Coefficient の両方の入力に対して、隠れ状態の標準偏差は 10^{-5}$ となり、3つの分類器は同じマクロ F1 のスコアが0.224688$ に達する。
クラス間隠れ散乱は全隠れ散乱によって境界付けられており、報告された隠れ状態の分散によって制御されることを示す。
したがって、ほとんど一定の隠れ表現は、実質的なクラス分離構造を保持することはできない。
製品係数は、事前崩壊マクロF1を改善したり、現在のDSAE設定で$K=5$崩壊を防止したりしない。
これらの結果から,DSAE LiDAR分類の具体的な故障モードとして,大深度表現の崩壊が確認された。
関連論文リスト
- Curvature-Guided Sheaf Diffusion for Unsupervised Community Detection on Heterophilic Graphs [3.7082032592028207]
Curvature-Guided Sheaf Diffusionは、完全に教師なしのコミュニティ検出アルゴリズムである。
各エッジの離散Forman--Ricci曲率を1つの位相信号として使用する。
5つの異好性のベンチマークで、CGSDはウィスコンシン州とシャメレオン州で勝利した。
論文 参考訳(メタデータ) (2026-06-29T12:58:20Z) - Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。
合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
論文 参考訳(メタデータ) (2026-05-25T07:08:57Z) - Representation Without Reward: A JEPA Audit for LLM Fine-Tuning [1.2691047660244335]
JEPA(Joint-embedding predictive Architectures)は、モデルが観測された出力よりも遅延表現を予測できるように訓練された時に、より有用な抽象化を学ぶべきであることを提案している。
自己回帰型言語モデルの微調整には、この原理はより厳密な要件を必要とする。
我々は、Llama-3.2-1B-Instruct LoRA を用いて、自然言語からレジェックス生成におけるその要件を検証した。
論文 参考訳(メタデータ) (2026-05-14T20:27:32Z) - A Closed-Form Adaptive-Landmark Kernel for Certified Point-Cloud and Graph Classification [0.0]
PALACEはOrbitHS5k(91.3pm 1.0%$, matching Persformer)上で最強の閉形式ダイアグラムベースの方法である
ドメインインフレーションが8ドルになると、均等グリッドが崩壊する一方、プレースメントは94%$を維持している(4クラスデータでは25%$)
PALACEはOrbitHS5k(91.3pm 1.0%$, matching Persformer)上で最強の閉形式ダイアグラムベースの手法である。
論文 参考訳(メタデータ) (2026-05-05T17:59:18Z) - Scaling Attention via Feature Sparsity [50.64995497733461]
超長期のコンテキストにトランスフォーマーをスケールすることは、自己注意のコスト$O(n2 d)$コストによってボトルネックとなる。
本稿では,高次元表現性を維持するために,クエリとキーを$k$sparseコードとして表現するスパース特徴注意法を提案する。
GPT-2とQwen3の事前トレーニングで、SFAは密度の高いベースラインにマッチし、最高2.5タイムのスピードを向上し、FLOPとKVキャッシュを50%近く削減した。
論文 参考訳(メタデータ) (2026-03-17T08:41:50Z) - Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。
Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
論文 参考訳(メタデータ) (2026-02-27T07:36:32Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳(メタデータ) (2025-05-19T07:32:56Z) - On the Price of Differential Privacy for Hierarchical Clustering [21.64775530337936]
本稿では, エッジレベルのDP設定において, 既知の可視性よりもはるかに高い近似性を示す, 重み付きプライバシモデルにおける新しいアルゴリズムを提案する。
以上の結果から,提案アルゴリズムはコストの面では良好に動作し,大規模グラフに対するスケーラビリティも良好であることがわかった。
論文 参考訳(メタデータ) (2025-04-22T04:39:40Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳(メタデータ) (2023-02-06T18:39:40Z) - Simple and Effective Prevention of Mode Collapse in Deep One-Class
Classification [93.2334223970488]
深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。
第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。
第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
論文 参考訳(メタデータ) (2020-01-24T03:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。