論文の概要: Sum-of-Parts: Self-Attributing Neural Networks with End-to-End Learning of Feature Groups

• arxiv url: http://arxiv.org/abs/2310.16316v3
• Date: Fri, 14 Feb 2025 21:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:50.361610
• Title: Sum-of-Parts: Self-Attributing Neural Networks with End-to-End Learning of Feature Groups
• Title（参考訳）: 部品の要約:特徴群のエンドツーエンド学習による自己帰属ニューラルネットワーク
• Authors: Weiqiu You, Helen Qu, Marco Gatti, Bhuvnesh Jain, Eric Wong,
• Abstract要約: Sum-of-Partsは、任意の差別化可能なモデルをグループベースのSANNに変換するフレームワークである。 SOPは、視覚および言語タスクにおけるSANNの最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 8.68707471649733
• License:
• Abstract: Self-attributing neural networks (SANNs) present a potential path towards interpretable models for high-dimensional problems, but often face significant trade-offs in performance. In this work, we formally prove a lower bound on errors of per-feature SANNs, whereas group-based SANNs can achieve zero error and thus high performance. Motivated by these insights, we propose Sum-of-Parts (SOP), a framework that transforms any differentiable model into a group-based SANN, where feature groups are learned end-to-end without group supervision. SOP achieves state-of-the-art performance for SANNs on vision and language tasks, and we validate that the groups are interpretable on a range of quantitative and semantic metrics. We further validate the utility of SOP explanations in model debugging and cosmological scientific discovery. Code is available at https://github.com/BrachioLab/sop.
• Abstract（参考訳）: 自己貢献型ニューラルネットワーク(SANN)は、高次元問題に対する解釈可能なモデルへの潜在的経路を示すが、しばしば性能上の大きなトレードオフに直面している。 本研究では,グループベースSANNがゼロエラーを達成でき,高い性能を実現するのに対して,機能毎のSANNの誤差に対する拘束力の低下を正式に証明する。 これらの知見に触発されて、私たちは任意の差別化可能なモデルをグループベースSANNに変換するフレームワークであるSum-of-Parts (SOP)を提案する。 SOPは、視覚や言語タスクにおけるSANNの最先端性能を実現し、これらのグループが定量的、セマンティックなメトリクスに基づいて解釈可能であることを検証した。 モデルデバッギングと宇宙科学的発見におけるSOP説明の有用性をさらに検証する。 コードはhttps://github.com/BrachioLab/sop.comから入手できる。

関連論文リスト

• Explainability of Highly Associated Fuzzy Churn Patterns in Binary Classification [21.38368444137596]
  本研究では,多変量パターンの同定と,直観的解釈のためのソフト境界の設定の重要性を強調した。 主な目的は、機械学習モデルと、トップテキストのHUIMを用いたファジィセット理論を使用して、顧客の混乱の高度に関連付けられたパターンを特定することである。 その結果、顧客チャーン予測モデルの説明可能性と有効性を改善する革新的なアプローチが導入された。
  論文  参考訳（メタデータ） (2024-10-21T09:44:37Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
  AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。 我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-05-19T04:46:04Z)
• NxPlain: Web-based Tool for Discovery of Latent Concepts [16.446370662629555]
  提案するNxPlainは,潜在概念を用いたモデル予測を記述したWebアプリケーションである。 NxPlainは、深いNLPモデルで学んだ潜在概念を発見し、モデルで学んだ知識の解釈を提供し、使用した概念に基づいてその予測を説明する。
  論文  参考訳（メタデータ） (2023-03-06T10:45:24Z)
• Measuring the Driving Forces of Predictive Performance: Application to Credit Scoring [0.0]
  信用スコアでは、機械学習モデルは標準パラメトリックモデルを上回ることが知られている。 本稿では、モデルに関連するコントリビューションにパフォーマンスメトリックを分解するXPER手法を紹介する。 モデル性能の驚くほど大きな部分を、少数の機能が説明できることを示す。
  論文  参考訳（メタデータ） (2022-12-12T13:09:46Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Partial Order in Chaos: Consensus on Feature Attributions in the Rashomon Set [50.67431815647126]
  ポストホックなグローバル/ローカルな特徴属性法は、機械学習モデルを理解するために徐々に採用されている。 この手法により局所的・言語的特徴の半順序が生じることを示す。 これらの部分的な順序に現れる特徴間の関係は、既存のアプローチによって提供されたランクにも当てはまることを示す。
  論文  参考訳（メタデータ） (2021-10-26T02:53:14Z)
• Interpreting and improving deep-learning models with reality checks [13.287382944078562]
  この章では、1つの予測のために特徴と特徴グループに重要さをもたらすことによってモデルを解釈することを目的とした最近の研究について取り上げる。 これらの属性は、ニューラルネットワークの一般化を直接的に改善したり、あるいは単純なモデルに蒸留するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-08-16T00:58:15Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。