論文の概要: Manifoldron: Direct Space Partition via Manifold Discovery

• arxiv url: http://arxiv.org/abs/2201.05279v1
• Date: Fri, 14 Jan 2022 02:28:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-17 23:18:41.138226
• Title: Manifoldron: Direct Space Partition via Manifold Discovery
• Title（参考訳）: Manifoldron: Manifold Discoveryによる直接の宇宙分割
• Authors: Dayang Wang, Feng-Lei Fan, Bo-Jian Hou, Hao Zhang, Rongjie Lai, Hengyong Yu, Fei Wang
• Abstract要約: 我々はManifoldronと呼ばれる新しいタイプの機械学習モデルを提案する。 マニフォールドロンはデータから直接決定境界を導出し、多様体構造発見を通じて空間を分割する。 提案したManifoldronは、メインストリームの機械学習モデルと比較して競合的に動作することを示す。
• 参考スコア（独自算出の注目度）: 20.598782641025284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A neural network with the widely-used ReLU activation has been shown to partition the sample space into many convex polytopes for prediction. However, the parameterized way a neural network and other machine learning models use to partition the space has imperfections, e.g., the compromised interpretability for complex models, the inflexibility in decision boundary construction due to the generic character of the model, and the risk of being trapped into shortcut solutions. In contrast, although the non-parameterized models can adorably avoid or downplay these issues, they are usually insufficiently powerful either due to over-simplification or the failure to accommodate the manifold structures of data. In this context, we first propose a new type of machine learning models referred to as Manifoldron that directly derives decision boundaries from data and partitions the space via manifold structure discovery. Then, we systematically analyze the key characteristics of the Manifoldron including interpretability, manifold characterization capability, and its link to neural networks. The experimental results on 9 small and 11 large datasets demonstrate that the proposed Manifoldron performs competitively compared to the mainstream machine learning models. We have shared our code https://github.com/wdayang/Manifoldron for free download and evaluation.
• Abstract（参考訳）: 広く使われているReLU活性化を持つニューラルネットワークは、サンプル空間を予測のために多くの凸ポリトープに分割することが示されている。 しかしながら、ニューラルネットワークやその他の機械学習モデルが空間を分割するために使用するパラメータ化手法には、複雑なモデルに対する妥協された解釈可能性、モデルの汎用的な特徴による決定境界構築の柔軟性、ショートカットソリューションに閉じ込められるリスクなど、不完全性がある。 対照的に、非パラメータモデルではこれらの問題を好ましく避けたり、軽視したりすることはできるが、それらは通常、単純化されたり、データの多様体構造に適応できないために、不十分に強力である。 本稿ではまず,データから決定境界を直接導出し,多様体構造探索により空間を分割する,Manifoldronと呼ばれる新しい機械学習モデルを提案する。 次に, 可視性, 多様体キャラクタリゼーション能力, ニューラルネットワークとのリンクなど, 多様体論の重要な特性を体系的に解析する。 9個の大規模データセットと11個の大規模データセットにおける実験結果から,提案手法が主流の機械学習モデルと競合することが示された。 コードをhttps://github.com/wdayang/manifoldronで無料でダウンロードして評価しています。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
  本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。 実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
  論文  参考訳（メタデータ） (2023-02-02T05:00:29Z)
• Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps [85.49020931411825]
  限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。 本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。 本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-07T01:12:11Z)
• Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
  本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。 このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
  論文  参考訳（メタデータ） (2022-08-22T19:58:03Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• The emergence of a concept in shallow neural networks [0.0]
  我々は,定型だが不可能なアーチタイプを曖昧にコピーした非構造化データセット上で訓練された制限されたボルツマンマシン(RBM)を考える。」 RBMが古型を学習できる限界標本サイズが存在することを示す。
  論文  参考訳（メタデータ） (2021-09-01T15:56:38Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Bridge the Gap Between Model-based and Model-free Human Reconstruction [10.818838437018682]
  グラフ畳み込みニューラルネットワークによって構築された暗黙の面と明示的なメッシュモデルを同時に予測するエンド・ツー・エンドニューラルネットワークを提案する。 DeepHumanデータセットの実験は、我々のアプローチが効果的であることを示した。
  論文  参考訳（メタデータ） (2021-06-11T11:13:42Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。