論文の概要: Contributions to Robust and Efficient Methods for Analysis of High Dimensional Data
- arxiv url: http://arxiv.org/abs/2509.08155v1
- Date: Tue, 09 Sep 2025 21:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-11 15:16:52.252037
- Title: Contributions to Robust and Efficient Methods for Analysis of High Dimensional Data
- Title(参考訳): 高次元データ解析におけるロバスト・効率的手法への貢献
- Authors: Kai Yang,
- Abstract要約: この論文は、高次元データを解析するための頑健で計算学的に効率的な手法を開発する。
Tsallisパワースパースルーエントロピーに基づく混合効果モデルの開発により,高次元相関観測のロバストなモデリングに寄与する。
数値安定性を維持しつつ非線形収束を加速する新しい共役アルゴリズムを開発した。
- 参考スコア(独自算出の注目度): 3.8590360275860767
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: A ubiquitous feature of data of our era is their extra-large sizes and dimensions. Analyzing such high-dimensional data poses significant challenges, since the feature dimension is often much larger than the sample size. This thesis introduces robust and computationally efficient methods to address several common challenges associated with high-dimensional data. In my first manuscript, I propose a coherent approach to variable screening that accommodates nonlinear associations. I develop a novel variable screening method that transcends traditional linear assumptions by leveraging mutual information, with an intended application in neuroimaging data. This approach allows for accurate identification of important variables by capturing nonlinear as well as linear relationships between the outcome and covariates. Building on this foundation, I develop new optimization methods for sparse estimation using nonconvex penalties in my second manuscript. These methods address notable challenges in current statistical computing practices, facilitating computationally efficient and robust analyses of complex datasets. The proposed method can be applied to a general class of optimization problems. In my third manuscript, I contribute to robust modeling of high-dimensional correlated observations by developing a mixed-effects model based on Tsallis power-law entropy maximization and discussed the theoretical properties of such distribution. This model surpasses the constraints of conventional Gaussian models by accommodating a broader class of distributions with enhanced robustness to outliers. Additionally, I develop a proximal nonlinear conjugate gradient algorithm that accelerates convergence while maintaining numerical stability, along with rigorous statistical properties for the proposed framework.
- Abstract(参考訳): 我々の時代のデータのユビキタスな特徴は、その大きなサイズと寸法である。
このような高次元データを解析することは大きな課題となる。
この論文は、高次元データに関連するいくつかの共通の課題に対処するために、頑健で計算学的に効率的な手法を導入している。
最初の原稿では、非線形な関連性に対応する可変スクリーニングのコヒーレントなアプローチを提案する。
本稿では,相互情報を活用することによって従来の線形仮定を超越する新しい変数スクリーニング法と,ニューロイメージングデータへの応用について述べる。
このアプローチは、結果と共変量の間の非線形および線形関係を捉えることによって、重要な変数の正確な同定を可能にする。
この基礎の上に、私は2番目の原稿に非凸ペナルティを用いたスパース推定のための新しい最適化手法を開発しました。
これらの手法は、計算効率が良く、複雑なデータセットの堅牢な分析を容易にする、現在の統計計算の実践における顕著な課題に対処する。
提案手法は最適化問題の一般的なクラスに適用できる。
第3の写本では、Tsallisパワーローエントロピー最大化に基づく混合効果モデルを開発し、高次元相関観測のロバストなモデリングに寄与し、そのような分布の理論的性質について議論した。
このモデルは、従来のガウスモデルの制約を超越し、より広範な分布のクラスを、より強靭性で外接点に収容する。
さらに,数値安定性を維持しつつ収束を加速する近似非線形共役勾配アルゴリズムと,提案手法の厳密な統計特性について述べる。
関連論文リスト
- Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [60.414548453838506]
非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。
GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。
本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-07-16T02:24:21Z) - Adaptive debiased SGD in high-dimensional GLMs with streaming data [4.704144189806667]
本稿では,高次元一般化線形モデルにおけるオンライン推論に対する新しいアプローチを提案する。
提案手法は単一パスモードで動作し,全データセットアクセスや大次元要約統計ストレージを必要とする既存手法とは異なる。
我々の方法論的革新の核心は、動的目的関数に適した適応的降下アルゴリズムと、新しいオンラインデバイアス処理である。
論文 参考訳(メタデータ) (2024-05-28T15:36:48Z) - Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。
本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。
提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
論文 参考訳(メタデータ) (2024-04-11T09:23:36Z) - Improved Distribution Matching for Dataset Condensation [91.55972945798531]
本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。
提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
論文 参考訳(メタデータ) (2023-07-19T04:07:33Z) - ProjB: An Improved Bilinear Biased ProjE model for Knowledge Graph
Completion [1.5576879053213302]
この研究は、計算の複雑さが低く、モデル改善の可能性が高いため、ProjE KGEを改善する。
FB15KやWN18のようなベンチマーク知識グラフ(KG)の実験結果から、提案手法はエンティティ予測タスクにおける最先端モデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-15T18:18:05Z) - Extension of Dynamic Mode Decomposition for dynamic systems with
incomplete information based on t-model of optimal prediction [69.81996031777717]
動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。
このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。
本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
論文 参考訳(メタデータ) (2022-02-23T11:23:59Z) - Low-rank statistical finite elements for scalable model-data synthesis [0.8602553195689513]
statFEMは、支配方程式に強制を埋め込むことによって、事前モデルの誤特定を認める。
この方法は、観測されたデータ生成過程を最小限の情報損失で再構築する。
本稿では、下層の密度共分散行列の低ランク近似を埋め込むことで、このハードルを克服する。
論文 参考訳(メタデータ) (2021-09-10T09:51:43Z) - SODEN: A Scalable Continuous-Time Survival Model through Ordinary
Differential Equation Networks [14.564168076456822]
本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。
提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
論文 参考訳(メタデータ) (2020-08-19T19:11:25Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。