論文の概要: Are Logistic Models Really Interpretable?

• arxiv url: http://arxiv.org/abs/2406.13427v1
• Date: Wed, 19 Jun 2024 10:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 20:03:05.461561
• Title: Are Logistic Models Really Interpretable?
• Title（参考訳）: 論理モデルは本当に解釈可能か?
• Authors: Danial Dervovic, Freddy Lécué, Nicolás Marchesotti, Daniele Magazzeni,
• Abstract要約: 最も単純なAI分類モデルの1つ、ロジスティック回帰は、そのモデルの重みを控えめに解釈する。 ユーザスタディを通じて、熟練した参加者が小さなLRモデルの動作を確実に再現できないことを示す。 線形加法モデル(LAM)はロジスティックモデルよりも解釈可能である。
• 参考スコア（独自算出の注目度）: 10.239620808245448
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The demand for open and trustworthy AI models points towards widespread publishing of model weights. Consumers of these model weights must be able to act accordingly with the information provided. That said, one of the simplest AI classification models, Logistic Regression (LR), has an unwieldy interpretation of its model weights, with greater difficulties when extending LR to generalised additive models. In this work, we show via a User Study that skilled participants are unable to reliably reproduce the action of small LR models given the trained parameters. As an antidote to this, we define Linearised Additive Models (LAMs), an optimal piecewise linear approximation that augments any trained additive model equipped with a sigmoid link function, requiring no retraining. We argue that LAMs are more interpretable than logistic models -- survey participants are shown to solve model reasoning tasks with LAMs much more accurately than with LR given the same information. Furthermore, we show that LAMs do not suffer from large performance penalties in terms of ROC-AUC and calibration with respect to their logistic counterparts on a broad suite of public financial modelling data.
• Abstract（参考訳）: オープンで信頼性の高いAIモデルの需要は、モデルウェイトを広く公開することを指している。 これらのモデルウェイトの消費者は、提供された情報に従って行動しなければなりません。 とは言っても、最も単純なAI分類モデルの1つであるロジスティック回帰(LR)は、モデルの重みを扱いにくい解釈を持ち、LRを一般化された加法モデルに拡張する際の困難は大きい。 本研究は,ユーザスタディを通じて,熟練した参加者が,訓練されたパラメータから小さなLRモデルの動作を確実に再現できないことを示す。 これに対するアンチドートとして線形加法モデル (LAMs) を定義する。これは、シグモイドリンク関数を備えた任意の訓練された加法モデルを拡張し、再学習を必要としない最適の一方向線形近似である。 LAMはロジスティックモデルよりも解釈可能であり、調査参加者はLAMを用いたモデル推論タスクを、LRと同じ情報を与えられた場合よりもはるかに正確に解決できることが示されている。 さらに,LAM はROC-AUC やキャリブレーションの点で大きなパフォーマンス上のペナルティを被っていないことを示し,ロジスティックな財務モデルデータに対するロジスティックな対応について述べる。

関連論文リスト

• Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
  拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。 170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。 実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
  論文  参考訳（メタデータ） (2024-10-23T14:04:22Z)
• REEF: Representation Encoding Fingerprints for Large Language Models [53.679712605506715]
  REEFは、被疑者モデルと被害者モデルの表現との中心となるカーネルアライメントの類似性を計算し、比較する。 このトレーニング不要のREEFは、モデルの一般的な能力を損なうことなく、シーケンシャルな微調整、プルーニング、モデルマージ、置換に堅牢である。
  論文  参考訳（メタデータ） (2024-10-18T08:27:02Z)
• Investigating the Impact of Model Complexity in Large Language Models [3.7919508292745676]
  事前訓練された微調整パラダイムに基づく大規模言語モデル(LLM)は、自然言語処理タスクの解決において重要な役割を担っている。 本稿では,自己回帰 LLM に着目し,HMM (Hidden Markov Models) を用いたモデリングを提案する。
  論文  参考訳（メタデータ） (2024-10-01T13:53:44Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• Induced Model Matching: How Restricted Models Can Help Larger Ones [1.7676816383911753]
  制限された特徴を用いた非常に正確な予測モデルが、より大きく、フル機能の、モデルのトレーニング時に利用可能であるシナリオを考察する。 制限されたモデルは、フルモデルにどのように役立つのか? 本稿では,制約モデルと制約モデルの性能を一致させることで,制約モデルの知識をフルモデルに伝達する手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T20:21:09Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• fairml: A Statistician's Take on Fair Machine Learning Modelling [0.0]
  本稿では,これまでの研究(Scutari, Panero, Proissl 2022)および関連モデルを文献で実装したfairmlパッケージについて述べる。 Fairmlは古典的な統計モデルと ペナル化された回帰結果に基づいて設計されています フェアネスを強制するために使われる制約は、推定をモデル化することであり、望まれるモデルファミリと各アプリケーションに対するフェアネス定義の混合とマッチングを可能にする。
  論文  参考訳（メタデータ） (2023-05-03T09:59:53Z)
• Rethinking Log Odds: Linear Probability Modelling and Expert Advice in Interpretable Machine Learning [8.831954614241234]
  線形化付加モデル(LAM)とSubscaleHedgeの2つの拡張を含む、解釈可能な機械学習モデルのファミリーを紹介する。 LAMは、GAM(General Additive Models)におけるユビキタスなロジスティックリンク関数を置き換えるものであり、SubscaleHedgeはサブスケールと呼ばれる機能のサブセットでトレーニングされたベースモデルを組み合わせるためのエキスパートアドバイスアルゴリズムである。
  論文  参考訳（メタデータ） (2022-11-11T17:21:57Z)
• Bellman: A Toolbox for Model-Based Reinforcement Learning in TensorFlow [14.422129911404472]
  Bellmanはこのギャップを埋めることを目指しており、モデルベースのRLツールボックスを初めて完全に設計し、テストした。 我々のモジュラーアプローチは、幅広い環境モデルと、最先端アルゴリズムを復元する汎用モデルベースのエージェントクラスを組み合わせることができる。
  論文  参考訳（メタデータ） (2021-03-26T11:32:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。