論文の概要: The limits of interpretability in multiple linear regression

• arxiv url: http://arxiv.org/abs/2606.16013v1
• Date: Sun, 14 Jun 2026 20:50:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.988089
• Title: The limits of interpretability in multiple linear regression
• Title（参考訳）: 多重線形回帰における解釈可能性の限界
• Abstract要約: 多重線形性の存在下では、学習した重みはデータセットからデータセットへの大きな変動を示すことができる。 重みの変動を増幅するためには,重みの重み付けに伴う小固有値モードが有効であることを示す。 さらに、公開データセットの多種多様なコレクションを分析して、物理学以外の発見の一般性を確認する。
• 参考スコア（独自算出の注目度）: 4.233473088292165
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interpreting machine-learning models has attracted increasing attention, particularly in the physical sciences, where one often seeks to understand the underlying mechanisms rather than merely make predictions. Multiple linear regression is often regarded as an interpretable alternative to more complex models, such as deep neural networks, because its predictions are expressed as explicit weighted sums of input features. However, when input features are strongly correlated, namely in the presence of multicollinearity, the learned weights can exhibit large dataset-to-dataset fluctuations and oscillatory behavior across physically similar features, making their interpretation difficult or even impossible. Although the instability of the weights under multicollinearity is well known in statistics, its consequences for physical interpretation, in particular its connection to oscillatory weights across physically similar features, have not been systematically clarified. Here, we theoretically discuss the mechanism behind this loss of interpretability by analyzing the eigenmodes of the feature correlation matrix. We show that small-eigenvalue modes associated with multicollinearity amplify fluctuations in the weights and generate oscillatory patterns that do not necessarily reflect meaningful contributions. We test this theoretical picture numerically on physics datasets and show that Ridge regularization suppresses these unstable modes, although the resulting weights must still be interpreted with caution. We further confirm the generality of our findings beyond physics by analyzing a diverse collection of publicly available datasets. Our results clarify why, in the presence of multicollinearity, physical interpretation can remain difficult even for linear regression models.
• Abstract（参考訳）: 機械学習モデルの解釈は、特に物理科学において、単に予測を行うのではなく、基礎となるメカニズムを理解しようと試みる分野において、注目を集めている。 多重線形回帰は、入力特徴の明示的な重み付け和として表現されるため、ディープニューラルネットワークのようなより複雑なモデルの解釈可能な代替と見なされることが多い。 しかし、入力特徴が強く相関している場合、すなわちマルチコリニティの存在下では、学習した重みは、物理的に類似した特徴にわたって大きなデータセット・データセット・揺らぎと振動挙動を示し、解釈が困難または不可能になる。 重みの不安定性は統計学においてよく知られているが、その物理的解釈、特に物理的に類似した特徴にまたがる振動重みとの関連性は体系的に解明されていない。 本稿では,特徴相関行列の固有値の解析により,この解釈可能性の喪失のメカニズムを理論的に論じる。 重みの変動を増幅し,必ずしも有意な寄与を反映しない振動パターンを生成する。 我々はこの理論図を物理データセット上で数値的に検証し、リッジ正則化がこれらの不安定なモードを抑制することを示した。 さらに、公開データセットの多種多様なコレクションを分析して、物理学以外の発見の一般性を確認する。 この結果から, 線形回帰モデルにおいても物理解釈が困難であり続けることが示唆された。

関連論文リスト

• Out-of-distribution Neural Inference in Dynamical Ising Models [0.30586855806896035]
  データ駆動型トレーニングは、トポロジと温度変化の下で異なる統計戦略を生成することを示す。 高い分布精度と明らかな分布外分布は、必ずしも学習された動的構造規則を暗示するとは限らない。 本結果は,物理逆問題における標準データ駆動学習の具体的な障害モードを同定する。
  論文  参考訳（メタデータ） (2026-07-03T07:31:30Z)
• SHAPCA: Consistent and Interpretable Explanations for Machine Learning Models on Spectroscopy Data [3.6869511677142373]
  分光データの高次元性と強いコリニアリティは、説明可能性のモデル化に根本的な課題を生んでいる。 本研究は,主成分分析(次元化のための)と形状付加的展開(ポストホック説明のための)を組み合わせた説明可能な機械学習パイプラインであるSHAPCAを提案する。 提案したフレームワークは、グローバルとローカルの両方の観点からの分析を可能にし、モデル全体の振る舞いを駆動するスペクトル帯域を明らかにする。
  論文  参考訳（メタデータ） (2026-03-19T16:58:31Z)
• Identifiable learning of dissipative dynamics [25.409059056398124]
  I-OnsagerNetは、散逸ダイナミクスを直接トラジェクトリから学習するニューラルネットワークフレームワークである。 I-OnsagerNetはOnsagerの原理を拡張して、学習されたポテンシャルが定常密度から得られることを保証している。 このアプローチはエントロピーの生成を計算し、不可逆性を定量化し、平衡から逸脱を検出し定量化する原則的な方法を提供する。
  論文  参考訳（メタデータ） (2025-10-28T07:57:14Z)
• A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
  本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。 具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。 機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
  論文  参考訳（メタデータ） (2024-07-04T15:35:42Z)
• Beyond DAGs: A Latent Partial Causal Model for Multimodal Learning [80.44084021062105]
  本稿では,非方向エッジで連結された2つの潜在結合変数を特徴とする,多モーダルデータに対する新しい潜在部分因果モデルを提案する。 特定の統計的仮定の下では、多モーダル・コントラッシブ・ラーニングによって学習された表現が、自明な変換までの潜在結合変数に対応することを示す。 事前トレーニングされたCLIPモデルの実験は、非絡み合った表現を具現化し、数ショットの学習を可能にし、さまざまな現実世界のデータセットにわたるドメインの一般化を改善する。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Capturing dynamical correlations using implicit neural representations [85.66456606776552]
  実験データから未知のパラメータを復元するために、モデルハミルトンのシミュレーションデータを模倣するために訓練されたニューラルネットワークと自動微分を組み合わせた人工知能フレームワークを開発する。 そこで本研究では, 実時間から多次元散乱データに適用可能な微分可能なモデルを1回だけ構築し, 訓練する能力について述べる。
  論文  参考訳（メタデータ） (2023-04-08T07:55:36Z)
• Curvature-informed multi-task learning for graph networks [56.155331323304]
  最先端のグラフニューラルネットワークは、複数の特性を同時に予測しようとする。 この現象の潜在的な説明として、各特性の損失面の曲率が大きく異なり、非効率な学習につながる可能性がある。
  論文  参考訳（メタデータ） (2022-08-02T18:18:41Z)
• Harmless interpolation in regression and classification with structured features [21.064512161584872]
  過度にパラメータ化されたニューラルネットワークは、ノイズの多いトレーニングデータに完全に適合するが、テストデータではうまく一般化する。 再生カーネルヒルベルト空間における上界回帰と分類リスクの一般かつ柔軟な枠組みを提案する。
  論文  参考訳（メタデータ） (2021-11-09T15:12:26Z)
• Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
  私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。 我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
  論文  参考訳（メタデータ） (2021-03-02T06:59:52Z)
• Augmenting Physical Models with Deep Networks for Complex Dynamics Forecasting [34.61959169976758]
  APHYNITYは、深層データ駆動モデルを持つ微分方程式によって記述された不完全な物理力学を増大させる原理的なアプローチである。 これは、動的を2つのコンポーネントに分解することで構成されます。物理コンポーネントは、事前の知識を持つダイナミクスを、データ駆動コンポーネントは、物理モデルのエラーを説明します。
  論文  参考訳（メタデータ） (2020-10-09T09:31:03Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。