論文の概要: Interpretation of High-Dimensional Linear Regression: Effects of
Nullspace and Regularization Demonstrated on Battery Data
- arxiv url: http://arxiv.org/abs/2309.00564v2
- Date: Wed, 6 Sep 2023 17:35:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 18:19:39.888486
- Title: Interpretation of High-Dimensional Linear Regression: Effects of
Nullspace and Regularization Demonstrated on Battery Data
- Title（参考訳）: 高次元線形回帰の解釈:バッテリデータに対するヌルスペースと正則化の効果
- Authors: Joachim Schaeffer, Eric Lenz, William C. Chueh, Martin Z. Bazant, Rolf
Findeisen, Richard D. Braatz
- Abstract要約: 本稿では, 化学系や生物系からしばしば得られるような, 基礎となる滑らかな潜伏過程の離散的な測定データについて考察する。
ヌル空間とその正規化との相互作用は回帰係数を形作る。
正規化とz-scoringは設計上の選択であり、事前の物理知識に対応して選択すると、解釈可能な回帰結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 0.019064981263344844
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-dimensional linear regression is important in many scientific fields.
This article considers discrete measured data of underlying smooth latent
processes, as is often obtained from chemical or biological systems.
Interpretation in high dimensions is challenging because the nullspace and its
interplay with regularization shapes regression coefficients. The data's
nullspace contains all coefficients that satisfy $\mathbf{Xw}=\mathbf{0}$, thus
allowing very different coefficients to yield identical predictions. We
developed an optimization formulation to compare regression coefficients and
coefficients obtained by physical engineering knowledge to understand which
part of the coefficient differences are close to the nullspace. This nullspace
method is tested on a synthetic example and lithium-ion battery data. The case
studies show that regularization and z-scoring are design choices that, if
chosen corresponding to prior physical knowledge, lead to interpretable
regression results. Otherwise, the combination of the nullspace and
regularization hinders interpretability and can make it impossible to obtain
regression coefficients close to the true coefficients when there is a true
underlying linear model. Furthermore, we demonstrate that regression methods
that do not produce coefficients orthogonal to the nullspace, such as fused
lasso, can improve interpretability. In conclusion, the insights gained from
the nullspace perspective help to make informed design choices for building
regression models on high-dimensional data and reasoning about potential
underlying linear models, which are important for system optimization and
improving scientific understanding.
- Abstract（参考訳）: 高次元線形回帰は多くの科学分野で重要である。
本稿では,化学系や生物系からしばしば得られるような,下層の滑らかな潜伏過程の離散的な測定データについて考察する。
高次元での解釈は、ヌル空間とその正規化形状との相互作用が回帰係数を表わすため困難である。
データのヌル空間は$\mathbf{Xw}=\mathbf{0}$を満たすすべての係数を含むため、全く異なる係数が同じ予測をすることができる。
物理工学の知識から得られた回帰係数と係数を比較し,係数差のどの部分がヌル空間に近いかを理解する最適化式を開発した。
このヌルスペース法は、合成例とリチウムイオン電池データで試験される。
ケーススタディでは、正規化とz-scoringは設計上の選択であり、もし事前の物理的知識に対応して選択された場合、解釈可能な回帰結果をもたらす。
そうでなければ、ヌル空間と正規化の組み合わせは解釈可能性を妨げるものであり、真の基底線型モデルが存在する場合、真の係数に近い回帰係数を得ることができない。
さらに, 融合ラッソのようなヌル空間に直交する係数を生成できない回帰法は, 解釈可能性を向上させることができることを示した。
結論として、nullspaceの視点から得られた洞察は、高次元データ上に回帰モデルを構築するためのインフォームドデザインの選択と、システムの最適化や科学的理解の改善に重要である潜在的な線形モデルについての推論に役立つ。
関連論文リスト
- Branch and Bound to Assess Stability of Regression Coefficients in Uncertain Models [0.6990493129893112]
提案アルゴリズムは,数学的な結果のサポート,サンプルアプリケーション,コンピュータコードへのリンクなどとともに導入する。
これは、研究者が高次元データを要約し、不確実なモデルにおける回帰係数の安定性を評価するのに役立つ。
論文 参考訳（メタデータ） (2024-08-19T01:37:14Z) - Deep Generative Symbolic Regression [83.04219479605801]
記号回帰は、データから簡潔な閉形式数学的方程式を発見することを目的としている。
既存の手法は、探索から強化学習まで、入力変数の数に応じてスケールできない。
本稿では,我々のフレームワークであるDeep Generative Symbolic Regressionのインスタンス化を提案する。
論文 参考訳（メタデータ） (2023-12-30T17:05:31Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Experimental Design for Linear Functionals in Reproducing Kernel Hilbert
Spaces [102.08678737900541]
線形汎関数に対するバイアス認識設計のためのアルゴリズムを提供する。
準ガウス雑音下での固定および適応設計に対する漸近的でない信頼集合を導出する。
論文 参考訳（メタデータ） (2022-05-26T20:56:25Z) - Bias-variance decomposition of overparameterized regression with random
linear features [0.0]
パラメータ化モデル」は、トレーニングデータに完全に適合するのに十分な数のパラメータが適合している場合でも、過度に適合しないようにする。
ヘッセン行列の非零固有値が小さいため、各遷移がどのように生じるかを示す。
ランダムな線形特徴モデルの位相図とランダムな非線形特徴モデルと通常の回帰とを比較して比較する。
論文 参考訳（メタデータ） (2022-03-10T16:09:21Z) - Statistical Inference for High-Dimensional Linear Regression with
Blockwise Missing Data [13.48481978963297]
ブロックワイドなデータは、異なるソースまたはモダリティが相補的な情報を含むマルチソースまたはマルチモダリティデータを統合するときに発生する。
本稿では,未偏差推定方程式に基づいて回帰係数ベクトルを計算効率良く推定する手法を提案する。
アルツハイマー病神経画像イニシアチブの数値的研究と応用分析により、提案手法は既存の方法よりも教師なしのサンプルからより優れた性能と利益を得られることを示した。
論文 参考訳（メタデータ） (2021-06-07T05:12:42Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - A Nonconvex Framework for Structured Dynamic Covariance Recovery [24.471814126358556]
時間変化のある2次統計量を持つ高次元データに対するフレキシブルで解釈可能なモデルを提案する。
文献によって動機付けられ,因子化とスムーズな時間データの定量化を行う。
私たちのアプローチは,既存のベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-11-11T07:09:44Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳（メタデータ） (2020-07-08T07:17:28Z) - Linear Tensor Projection Revealing Nonlinearity [0.294944680995069]
次元の減少は高次元データの学習に有効な方法である。
本稿では,元データ情報を可能な限り多く保持しつつ,予測精度を最大化する部分空間を探索する手法を提案する。
論文 参考訳（メタデータ） (2020-07-08T06:10:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。