Fugu-MT 論文翻訳(概要): $\ell_1$-Regularized Generalized Least Squares

論文の概要: $\ell_1$-Regularized Generalized Least Squares

arxiv url: http://arxiv.org/abs/2405.10719v1
Date: Fri, 17 May 2024 12:03:24 GMT
ステータス: 処理完了
システム内更新日: 2024-05-20 16:13:13.192226
Title: $\ell_1$-Regularized Generalized Least Squares
Title（参考訳）: $\ell_1$-regularized generalized Least Squares
Authors: Kaveh S. Nobari, Alex Gibberd,
Abstract要約: 我々は、持続的な自己回帰的誤りを許容するフレームワークにおいて、推定精度の非漸近オラクル不等式を確立する。シミュレーション実験により提案手法の性能を検証し, 白色雑音の場合には, GLS-LASSO推定器がLASSOと同等に動作することを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper we propose an $\ell_1$-regularized GLS estimator for high-dimensional regressions with potentially autocorrelated errors. We establish non-asymptotic oracle inequalities for estimation accuracy in a framework that allows for highly persistent autoregressive errors. In practice, the Whitening matrix required to implement the GLS is unkown, we present a feasible estimator for this matrix, derive consistency results and ultimately show how our proposed feasible GLS can recover closely the optimal performance (as if the errors were a white noise) of the LASSO. A simulation study verifies the performance of the proposed method, demonstrating that the penalized (feasible) GLS-LASSO estimator performs on par with the LASSO in the case of white noise errors, whilst outperforming it in terms of sign-recovery and estimation error when the errors exhibit significant correlation.
Abstract（参考訳）: 本稿では,自己相関誤差のある高次元回帰に対する$\ell_1$-regularized GLS推定器を提案する。我々は,高度に永続的な自己回帰誤差を許容するフレームワークにおいて,推定精度の非漸近オラクル不等式を確立する。実際には、GLSを実装するのに必要なWhitening行列は無視され、この行列に対して実現可能な推定器を示し、一貫性を導出し、最終的に提案したGLSがLASSOの最適性能(エラーがホワイトノイズであるかのように)を正確に回復できることを示す。提案手法の性能をシミュレーションにより検証し,提案手法が有意な相関を示す場合の符号回復と推定誤差で性能を向上する一方,白色雑音の場合にはLDS-LASSO推定器がLASSOと同等に動作することを示す。

関連論文リスト

Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
論文参考訳（メタデータ） (2025-02-01T18:09:49Z)
Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression [4.150180443030652]
本稿では,反復アルゴリズムの軌道に沿った反復の一般化誤差を正確に追跡する推定器を提案する。結果は、ハマー回帰(英語版)、擬ハマー回帰(英語版)、および非滑らかな正則化子を持つそれらのペナル化変種(英語版)など、いくつかの例を通して説明される。
論文参考訳（メタデータ） (2024-10-03T16:13:42Z)
Covariance-corrected Whitening Alleviates Network Degeneration on Imbalanced Classification [6.197116272789107]
クラス不均衡は画像分類において重要な問題であり、深層認識モデルの性能に大きな影響を及ぼす。我々は、退化ソリューションを緩和するWhitening-Netと呼ばれる新しいフレームワークを提案する。極端なクラス不均衡のシナリオでは、バッチ共分散統計は大きな変動を示し、白化操作の収束を妨げる。
論文参考訳（メタデータ） (2024-08-30T10:49:33Z)
Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文参考訳（メタデータ） (2024-06-05T16:35:30Z)
$i$REPO: $i$mplicit Reward Pairwise Difference based Empirical Preference Optimization [12.266207199002604]
大規模言語モデル(LLM)は、人間の期待から外れた出力を生成することがある。経験的選好最適化に暗黙的逆差分回帰を利用する,$i$REPO という新しいフレームワークを提案する。 i$REPOは, ソフトラベル, 自己生成応答, 経験的AIアノテータのロジットを用いて, 効果的に自己アライメントを実現することを示す。
論文参考訳（メタデータ） (2024-05-24T05:42:11Z)
Asymptotic Characterisation of Robust Empirical Risk Minimisation Performance in the Presence of Outliers [18.455890316339595]
我々は,次元$d$とデータ点数$n$が固定比$alpha=n/d$で分岐した場合,高次元の線形回帰について検討し,出力率を含むデータモデルについて検討する。我々は、$ell$-regularized $ell$, $ell_$, Huber損失を用いて、経験的リスク最小化(ERM)のパフォーマンスの正確性を提供する。
論文参考訳（メタデータ） (2023-05-30T12:18:39Z)
Multi-task Learning of Order-Consistent Causal Graphs [59.9575145128345]
我々は、$K関連ガウス非巡回グラフ(DAG)の発見問題を考える。マルチタスク学習環境下では, 線形構造方程式モデルを学習するためのMLE ($l_1/l$-regularized maximum chance estimator) を提案する。理論的には、関係するタスクにまたがるデータを活用することで、因果順序を復元する際のサンプルの複雑さをより高めることができることを示す。
論文参考訳（メタデータ） (2021-11-03T22:10:18Z)
Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文参考訳（メタデータ） (2020-11-05T08:04:34Z)
CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文参考訳（メタデータ） (2020-09-28T09:49:38Z)
Consistency Regularization for Certified Robustness of Smoothed Classifiers [89.72878906950208]
最近のランダムな平滑化技術は、最悪の$ell$-robustnessを平均ケースのロバストネスに変換することができることを示している。その結果,スムーズな分類器の精度と信頼性の高いロバスト性とのトレードオフは,ノイズに対する予測一貫性の規則化によって大きく制御できることが判明した。
論文参考訳（メタデータ） (2020-06-07T06:57:43Z)
On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
論文参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。