論文の概要: Fidelity Isn't Accuracy: When Linearly Decodable Functions Fail to Match the Ground Truth

• arxiv url: http://arxiv.org/abs/2506.12176v1
• Date: Fri, 13 Jun 2025 18:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.382217
• Title: Fidelity Isn't Accuracy: When Linearly Decodable Functions Fail to Match the Ground Truth
• Title（参考訳）: 忠実さは正確ではない: 直線的にデオード可能な関数が地上の真実と一致しないとき
• Authors: Jackson Eshbaugh,
• Abstract要約: 線形モデルにより回帰ネットワークの出力がどの程度うまく模倣できるかを定量化する,単純かつ解釈可能な診断法である,線形性スコア $lambda(f)$ を提案する。 我々は、このフレームワークを合成(y = x sin(x) + epsilon$)と実世界のデータセットの両方で評価する。 以上の結果から,高い$lambda(f)$スコアは強い線形アライメントを示すが,基礎的真理に関して必ずしも予測精度を示唆するものではないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural networks excel as function approximators, but their complexity often obscures the nature of the functions they learn. In this work, we propose the linearity score $\lambda(f)$, a simple and interpretable diagnostic that quantifies how well a regression network's output can be mimicked by a linear model. Defined as the $R^2$ between the network's predictions and those of a trained linear surrogate, $\lambda(f)$ offers insight into the linear decodability of the learned function. We evaluate this framework on both synthetic ($y = x \sin(x) + \epsilon$) and real-world datasets (Medical Insurance, Concrete, California Housing), using dataset-specific networks and surrogates. Our findings show that while high $\lambda(f)$ scores indicate strong linear alignment, they do not necessarily imply predictive accuracy with respect to the ground truth. This underscores both the promise and the limitations of using linear surrogates to understand nonlinear model behavior, particularly in high-stakes regression tasks.
• Abstract（参考訳）: ニューラルネットワークは関数近似器として優れているが、その複雑さは学習する関数の性質を曖昧にすることが多い。 本稿では,線形モデルにより回帰ネットワークの出力がどの程度うまく模倣できるかを定量化する,単純かつ解釈可能な診断法である,線形性スコア $\lambda(f)$ を提案する。 ネットワークの予測と訓練された線形サロゲートの間にある$R^2$として定義され、$\lambda(f)$は学習された関数の線形陰性性性についての洞察を提供する。 我々は、データセット固有のネットワークとサロゲートを用いて、合成(y = x \sin(x) + \epsilon$)と実世界のデータセット(医療保険、コンクリート、カリフォルニア住宅)でこの枠組みを評価する。 以上の結果から,高い$\lambda(f)$スコアは強い線形アライメントを示すが,基礎的真理に関して必ずしも予測精度を示唆するものではないことが示唆された。 このことは、特に高次の回帰タスクにおいて、非線形モデルの振る舞いを理解するために線形サロゲートを使用することの約束と限界の両方を強調している。

関連論文リスト

• NIMO: a Nonlinear Interpretable MOdel [1.4623202528810306]
  NIMO(Nonlinear Interpretable MOdel)を導入し,線形モデル予測に対する非線形補正を学習するためにNNを設計するモデルを作成する。 我々は,予測精度を大幅に向上させながら,基礎となる線形係数を復元できることを実証的に示す。 他のハイブリッド解釈可能なアプローチと比較して、線形モデルと同じ線形係数の解釈可能性を維持するのは我々のモデルだけである。
  論文  参考訳（メタデータ） (2025-06-05T14:02:55Z)
• Pretrained transformer efficiently learns low-dimensional target functions in-context [40.77319247558742]
  勾配降下により最適化された非線形変換器は、ターゲット関数の分布の次元にのみ依存するプロンプト長を持つ、$f_*$ in-contextを学習する。 本結果は,事前学習した変換器の関数クラスの低次元構造への適応性を強調し,サンプル効率の良いICLを実現する。
  論文  参考訳（メタデータ） (2024-11-04T19:24:39Z)
• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• Approximating Positive Homogeneous Functions with Scale Invariant Neural Networks [28.2446416597989]
  まず,数直線測定によるスパースベクトルの回復について考察する。 この結果から,低ランク行列回復や位相回復を含む,より広範な回復問題に拡張する。 我々の結果は、逆問題に対するニューラルネットワークが典型的に非常に大きなリプシッツ定数を持つことを示す以前の研究の矛盾のように見えることに光を当てた。
  論文  参考訳（メタデータ） (2023-08-05T10:17:04Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Linear predictor on linearly-generated data with missing values: non consistency and solutions [0.0]
  本研究では,予測対象が全観測データの線形関数である場合について検討する。 不足する値が存在する場合、最適予測器は線形でない可能性があることを示す。
  論文  参考訳（メタデータ） (2020-02-03T11:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。