論文の概要: Fidelity Isn't Accuracy: When Linearly Decodable Functions Fail to Match the Ground Truth

• arxiv url: http://arxiv.org/abs/2506.12176v2
• Date: Sun, 03 Aug 2025 01:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 14:07:57.097242
• Title: Fidelity Isn't Accuracy: When Linearly Decodable Functions Fail to Match the Ground Truth
• Title（参考訳）: 忠実さは正確ではない: 直線的にデオード可能な関数が地上の真実と一致しないとき
• Authors: Jackson Eshbaugh,
• Abstract要約: 線形モデルによって回帰ネットワークの出力がどの程度うまく模倣できるかを定量化する,単純かつ解釈可能な診断法である,線形性スコア $lambda(f)$ を導入する。 我々は、このフレームワークを、合成(y = x cdot sin(x) + epsilon$)と実世界のデータセットの両方で評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural networks excel as function approximators, but their complexity often obscures what kinds of functions they learn. We introduce the linearity score $\lambda(f)$, a simple and interpretable diagnostic that quantifies how well a regression network's output can be mimicked by a linear model. Defined as the $R^2$ value between the network's predictions and those of a trained linear surrogate, $\lambda(f)$ measures linear decodability: the extent to which the network's behavior aligns with a structurally simple model. We evaluate this framework on both synthetic ($y = x \cdot \sin(x) + \epsilon$) and real-world datasets (Medical Insurance, Concrete, California Housing), using dataset-specific networks and surrogates. Our findings show that high $\lambda(f)$ scores reliably indicate alignment with the network's outputs -- but do not guarantee accuracy with respect to the ground truth. These results highlight the risk of using surrogate fidelity as a proxy for model understanding -- especially in high-stakes regression tasks.
• Abstract（参考訳）: ニューラルネットワークは関数近似器として優れているが、その複雑さは学習する関数の種類を曖昧にすることが多い。 線形モデルによって回帰ネットワークの出力がどの程度うまく模倣できるかを定量化する,単純かつ解釈可能な診断法である。 ネットワークの予測と訓練された線形サロゲートの間の$R^2$値として定義され、$\lambda(f)$は線形デオーダビリティを測定する。 我々は,このフレームワークを,データセット固有のネットワークとサロゲートを用いて,合成(y = x \cdot \sin(x) + \epsilon$)と実世界のデータセット(医療保険,コンクリート,カリフォルニア住宅)で評価する。 以上の結果から,高い$\lambda(f)$スコアは,ネットワークの出力との整合性を確実に示していますが,根拠的真理に対する正確性は保証していません。これらの結果は,特に高い回帰タスクにおいて,モデル理解のプロキシとして代理的忠実性を使用することのリスクを浮き彫りにしています。

関連論文リスト

• NIMO: a Nonlinear Interpretable MOdel [1.4623202528810306]
  NIMO(Nonlinear Interpretable MOdel)を導入し,線形モデル予測に対する非線形補正を学習するためにNNを設計するモデルを作成する。 我々は,予測精度を大幅に向上させながら,基礎となる線形係数を復元できることを実証的に示す。 他のハイブリッド解釈可能なアプローチと比較して、線形モデルと同じ線形係数の解釈可能性を維持するのは我々のモデルだけである。
  論文  参考訳（メタデータ） (2025-06-05T14:02:55Z)
• Pretrained transformer efficiently learns low-dimensional target functions in-context [40.77319247558742]
  勾配降下により最適化された非線形変換器は、ターゲット関数の分布の次元にのみ依存するプロンプト長を持つ、$f_*$ in-contextを学習する。 本結果は,事前学習した変換器の関数クラスの低次元構造への適応性を強調し,サンプル効率の良いICLを実現する。
  論文  参考訳（メタデータ） (2024-11-04T19:24:39Z)
• Approximation with Random Shallow ReLU Networks with Applications to Model Reference Adaptive Control [0.0]
  ランダムに生成される重みとバイアスを持つReLUネットワークは、高い確率で$O(m-1/2)$の誤りを生じることを示す。 本稿では,モデル参照適応制御アプリケーションにおいて,必要な精度を近似するために,その結果をどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2024-03-25T19:39:17Z)
• A Novel Explanation Against Linear Neural Networks [1.223779595809275]
  線形回帰とニューラルネットワークは、データをモデル化するために広く使われている。 活性化機能を持たないニューラルネットワーク、あるいは線形ニューラルネットワークは、実際にトレーニングとテストの両方のパフォーマンスを低下させる。 この仮説は,LNNの最適化と厳密なテストにより,雑音のあるデータセット上でのLNNと線形回帰の両方のパフォーマンスを比較して証明する。
  論文  参考訳（メタデータ） (2023-12-30T09:44:51Z)
• From Fake to Real: Pretraining on Balanced Synthetic Images to Prevent Spurious Correlations in Image Recognition [64.59093444558549]
  我々はFrom Fake to Realと呼ぶシンプルで簡単に実装できる2段階のトレーニングパイプラインを提案する。 実データと合成データを別々にトレーニングすることで、FFRは実データと合成データの統計的差異にモデルを公開しない。 実験の結果,FFRは3つのデータセットに対して,最先端のグループ精度を最大20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-08-08T19:52:28Z)
• Approximating Positive Homogeneous Functions with Scale Invariant Neural Networks [28.2446416597989]
  まず,数直線測定によるスパースベクトルの回復について考察する。 この結果から,低ランク行列回復や位相回復を含む,より広範な回復問題に拡張する。 我々の結果は、逆問題に対するニューラルネットワークが典型的に非常に大きなリプシッツ定数を持つことを示す以前の研究の矛盾のように見えることに光を当てた。
  論文  参考訳（メタデータ） (2023-08-05T10:17:04Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• Interpreting Bias in the Neural Networks: A Peek Into Representational Similarity [0.0]
  偏りのあるデータに基づいて学習した畳み込み型ニューラルネットワークの性能と内部表現構造について検討する。 目的関数にCKA(Centered Kernel Alignment)を用いて,表現の類似性について検討する。 ニューラルネットワークの層間のプログレッシブな表現的類似性がなければ、その性能はロバストになりそうにない。
  論文  参考訳（メタデータ） (2022-11-14T22:17:14Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data [48.4779912667317]
  自己学習アルゴリズムは、ニューラルネットワークを使ってラベルのないデータで学ぶことに成功している。 この研究は、半教師なし学習、教師なしドメイン適応、教師なし学習のための深層ネットワークによる自己学習の統一的理論的解析を提供する。
  論文  参考訳（メタデータ） (2020-10-07T19:43:55Z)
• Piecewise Linear Regression via a Difference of Convex Functions [50.89452535187813]
  本稿では,データに対する凸関数(DC関数)の差を利用した線形回帰手法を提案する。 実際に実装可能であることを示すとともに,実世界のデータセット上で既存の回帰/分類手法に匹敵する性能を有することを実証的に検証した。
  論文  参考訳（メタデータ） (2020-07-05T18:58:47Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Linear predictor on linearly-generated data with missing values: non consistency and solutions [0.0]
  本研究では,予測対象が全観測データの線形関数である場合について検討する。 不足する値が存在する場合、最適予測器は線形でない可能性があることを示す。
  論文  参考訳（メタデータ） (2020-02-03T11:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。