論文の概要: NIMO: a Nonlinear Interpretable MOdel

• arxiv url: http://arxiv.org/abs/2506.05059v1
• Date: Thu, 05 Jun 2025 14:02:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.745787
• Title: NIMO: a Nonlinear Interpretable MOdel
• Title（参考訳）: NIMO:非線形解釈可能なモード
• Authors: Shijian Xu, Marcello Massimo Negri, Volker Roth,
• Abstract要約: NIMO(Nonlinear Interpretable MOdel)を導入し,線形モデル予測に対する非線形補正を学習するためにNNを設計するモデルを作成する。 我々は,予測精度を大幅に向上させながら,基礎となる線形係数を復元できることを実証的に示す。 他のハイブリッド解釈可能なアプローチと比較して、線形モデルと同じ線形係数の解釈可能性を維持するのは我々のモデルだけである。
• 参考スコア（独自算出の注目度）: 1.4623202528810306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks (NNs) have achieved tremendous success over the past decade, yet they are still extremely difficult to interpret. In contrast, linear models are less expressive but offer inherent interpretability. Linear coefficients are interpretable as the marginal effect of a feature on the prediction, assuming all other features are kept fixed. To combine the benefits of both approaches, we introduce NIMO (Nonlinear Interpretable MOdel). The key idea is to define a model where the NN is designed to learn nonlinear corrections to the linear model predictions, while also maintaining the original interpretability of the linear coefficients. Relevantly, we develop an optimization algorithm based on profile likelihood that elegantly allows for optimizing over the NN parameters while updating the linear coefficients analytically. By relying on adaptive ridge regression we can easily incorporate sparsity constraints as well. We show empirically that we can recover the underlying linear coefficients while significantly improving the predictive accuracy. Compared to other hybrid interpretable approaches, our model is the only one that actually maintains the same interpretability of linear coefficients as in linear models. We also achieve higher performance on various regression and classification settings.
• Abstract（参考訳）: ニューラルネットワーク(NN)は過去10年間で大きな成功を収めてきましたが、それでも解釈は非常に困難です。 対照的に、線形モデルは表現性が低いが、本質的に解釈可能である。 線形係数は、他の全ての特徴が固定されていると仮定して、ある特徴の予測に対する限界効果として解釈される。 両アプローチの利点を組み合わせるために,NIMO (Nonlinear Interpretable MOdel) を導入する。 鍵となる考え方は、NNが線形モデル予測に対する非線形補正を学習するように設計され、線形係数の本来の解釈可能性も維持するモデルを定義することである。 そこで本研究では,線形係数を解析的に更新しながら,NNパラメータの最適化をエレガントに行えるプロファイル確率に基づく最適化アルゴリズムを開発した。 適応的なリッジ回帰に頼ることで、スパーシティ制約も容易に組み込むことができます。 我々は,予測精度を大幅に向上させながら,基礎となる線形係数を復元できることを実証的に示す。 他のハイブリッド解釈可能なアプローチと比較して、線形モデルと同じ線形係数の解釈可能性を維持するのは我々のモデルだけである。 また,様々なレグレッションおよび分類設定において高い性能を達成する。

関連論文リスト

• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Are Linear Regression Models White Box and Interpretable? [0.0]
  説明可能な人工知能(XAI)は、モデルを理解し解釈するために機械学習モデルに適用または組み込んだ一連のツールとアルゴリズムである。 線形回帰を含む単純なモデルは実装が容易であり、計算の複雑さが小さく、出力を視覚化するのも容易である。
  論文  参考訳（メタデータ） (2024-07-16T21:05:51Z)
• Adaptive Optimization for Prediction with Missing Data [6.800113478497425]
  適応線形回帰モデルの中には,命令規則と下流線形回帰モデルを同時に学習するのと等価なものもある。 ランダムにデータの欠落が強くない環境では,本手法はサンプル外精度を2～10%向上させる。
  論文  参考訳（メタデータ） (2024-02-02T16:35:51Z)
• Optimization-Induced Graph Implicit Nonlinear Diffusion [64.39772634635273]
  我々はGIND(Graph Implicit Diffusion)と呼ばれる新しいグラフ畳み込み変種を提案する。 GINDは暗黙的に隣人の無限のホップにアクセスでき、非線型拡散を伴う特徴を適応的に集約することで過度な平滑化を防いでいる。 学習された表現は、明示的な凸最適化目標の最小化として定式化できることを示す。
  論文  参考訳（メタデータ） (2022-06-29T06:26:42Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Near-optimal Offline Reinforcement Learning with Linear Representation: Leveraging Variance Information with Pessimism [65.46524775457928]
  オフライン強化学習は、オフライン/歴史的データを活用して、シーケンシャルな意思決定戦略を最適化しようとしている。 線形モデル表現を用いたオフライン強化学習の統計的限界について検討する。
  論文  参考訳（メタデータ） (2022-03-11T09:00:12Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• A Locally Adaptive Interpretable Regression [7.4267694612331905]
  線形回帰は最も解釈可能な予測モデルの一つである。 本稿では,局所適応型解釈型回帰(LoAIR)を導入する。 我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
  論文  参考訳（メタデータ） (2020-05-07T09:26:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。