論文の概要: Dimensionality reduction to maximize prediction generalization capability

• arxiv url: http://arxiv.org/abs/2003.00470v2
• Date: Thu, 20 Jan 2022 08:48:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 12:37:09.419031
• Title: Dimensionality reduction to maximize prediction generalization capability
• Title（参考訳）: 予測一般化能力を最大化する次元化
• Authors: Takuya Isomura, Taro Toyoizumi
• Abstract要約: 時系列予測の一般化は機械学習において依然として重要な課題であり、初期の手法は大きな一般化誤差または局所最小値を持つ。 我々は,予測主成分分析(PredPCA)と呼ばれる,将来の入力を予測するための最も情報性の高いコンポーネントを抽出する,解析的に解決可能な教師なし学習手法を開発した。 提案手法は,予測不能なノイズを効果的に除去し,凸最適化によるテスト予測誤差を最小化することができる。
• 参考スコア（独自算出の注目度）: 0.7614628596146599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalization of time series prediction remains an important open issue in machine learning, wherein earlier methods have either large generalization error or local minima. We develop an analytically solvable, unsupervised learning scheme that extracts the most informative components for predicting future inputs, termed predictive principal component analysis (PredPCA). Our scheme can effectively remove unpredictable noise and minimize test prediction error through convex optimization. Mathematical analyses demonstrate that, provided with sufficient training samples and sufficiently high-dimensional observations, PredPCA can asymptotically identify hidden states, system parameters, and dimensionalities of canonical nonlinear generative processes, with a global convergence guarantee. We demonstrate the performance of PredPCA using sequential visual inputs comprising hand-digits, rotating 3D objects, and natural scenes. It reliably estimates distinct hidden states and predicts future outcomes of previously unseen test input data, based exclusively on noisy observations. The simple architecture and low computational cost of PredPCA are highly desirable for neuromorphic hardware.
• Abstract（参考訳）: 時系列予測の一般化は機械学習において依然として重要な課題であり、初期の手法は大きな一般化誤差または局所最小値を持つ。 本研究では,予測主成分分析(PredPCA)と呼ばれる,将来の入力を予測するための最も情報性の高いコンポーネントを抽出する,解析的に解決可能な教師なし学習手法を開発した。 提案手法は,予測不能なノイズを効果的に除去し,凸最適化によるテスト予測誤差を最小限に抑える。 数学的解析により、十分なトレーニングサンプルと十分な高次元の観測により、PredPCAは、大域収束保証とともに、正規非線形生成過程の隠蔽状態、システムパラメータ、次元を漸近的に特定できることを示した。 ハンド桁,回転する3Dオブジェクト,自然シーンからなる逐次視覚入力を用いて,PredPCAの性能を示す。 異なる隠れ状態を確実に推定し、ノイズの観測のみに基づいて、これまで見えないテスト入力データの将来の結果を予測する。 PredPCAの単純なアーキテクチャと低い計算コストは、ニューロモルフィックハードウェアにとって非常に望ましい。

関連論文リスト

• LMD: Light-weight Prediction Quality Estimation for Object Detection in Lidar Point Clouds [3.927702899922668]
  Lidarのクラウドデータのオブジェクト検出は、自動運転とロボット工学にとって有望な技術だ。 不確実性推定は下流タスクにとって重要な要素であり、ディープニューラルネットワークは信頼性の高い予測であってもエラーを起こしやすい。 予測品質推定のための軽量後処理方式LidarMetaDetectを提案する。 本実験は,偽予測から真を分離する際の統計的信頼性を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-06-13T15:13:29Z)
• Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
  コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。 我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
  論文  参考訳（メタデータ） (2023-05-23T17:24:04Z)
• Prediction-Powered Inference [68.97619568620709]
  予測を用いた推論は、実験データセットに機械学習システムからの予測を補足した場合に有効な統計的推論を行うためのフレームワークである。 このフレームワークは、手段、量子、線形およびロジスティック回帰係数などの量に対して証明可能な信頼区間を計算するための単純なアルゴリズムを生成する。 予測による推論により、研究者は機械学習を使用して、より有効な、よりデータ効率の高い結論を導き出すことができる。
  論文  参考訳（メタデータ） (2023-01-23T18:59:28Z)
• Deep Subspace Encoders for Nonlinear System Identification [0.0]
  そこで本稿では,状態推定にトラッピング予測損失とサブスペースエンコーダを用いる手法を提案する。 軽度条件下では,提案手法は局所的に一貫性があり,最適化安定性が向上し,データ効率が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-26T16:04:38Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• A Method for Controlling Extrapolation when Visualizing and Optimizing the Prediction Profiles of Statistical and Machine Learning Models [0.0]
  本稿では,JMPソフトウェアにおける予測プロファイラの補間制御手法を提案する。 本手法は,外挿とみなすべき予測の探索を避けるのに役立つ。
  論文  参考訳（メタデータ） (2022-01-13T22:31:32Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
  構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。