論文の概要: Sum-of-Parts: Self-Attributing Neural Networks with End-to-End Learning of Feature Groups

• arxiv url: http://arxiv.org/abs/2310.16316v3
• Date: Fri, 14 Feb 2025 21:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:05:50.361610
• Title: Sum-of-Parts: Self-Attributing Neural Networks with End-to-End Learning of Feature Groups
• Title（参考訳）: 部品の要約:特徴群のエンドツーエンド学習による自己帰属ニューラルネットワーク
• Authors: Weiqiu You, Helen Qu, Marco Gatti, Bhuvnesh Jain, Eric Wong,
• Abstract要約: Sum-of-Partsは、任意の差別化可能なモデルをグループベースのSANNに変換するフレームワークである。 SOPは、視覚および言語タスクにおけるSANNの最先端のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 8.68707471649733
• License:
• Abstract: Self-attributing neural networks (SANNs) present a potential path towards interpretable models for high-dimensional problems, but often face significant trade-offs in performance. In this work, we formally prove a lower bound on errors of per-feature SANNs, whereas group-based SANNs can achieve zero error and thus high performance. Motivated by these insights, we propose Sum-of-Parts (SOP), a framework that transforms any differentiable model into a group-based SANN, where feature groups are learned end-to-end without group supervision. SOP achieves state-of-the-art performance for SANNs on vision and language tasks, and we validate that the groups are interpretable on a range of quantitative and semantic metrics. We further validate the utility of SOP explanations in model debugging and cosmological scientific discovery. Code is available at https://github.com/BrachioLab/sop.
• Abstract（参考訳）: 自己貢献型ニューラルネットワーク(SANN)は、高次元問題に対する解釈可能なモデルへの潜在的経路を示すが、しばしば性能上の大きなトレードオフに直面している。 本研究では,グループベースSANNがゼロエラーを達成でき,高い性能を実現するのに対して,機能毎のSANNの誤差に対する拘束力の低下を正式に証明する。 これらの知見に触発されて、私たちは任意の差別化可能なモデルをグループベースSANNに変換するフレームワークであるSum-of-Parts (SOP)を提案する。 SOPは、視覚や言語タスクにおけるSANNの最先端性能を実現し、これらのグループが定量的、セマンティックなメトリクスに基づいて解釈可能であることを検証した。 モデルデバッギングと宇宙科学的発見におけるSOP説明の有用性をさらに検証する。 コードはhttps://github.com/BrachioLab/sop.comから入手できる。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Batch-Ensemble Stochastic Neural Networks for Out-of-Distribution Detection [55.028065567756066]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイすることの重要性から、マシンラーニングコミュニティから注目を集めている。 本稿では,特徴量の分布をモデル化した不確実な定量化手法を提案する。 バッチアンサンブルニューラルネットワーク(BE-SNN)の構築と機能崩壊問題の克服を目的として,効率的なアンサンブル機構,すなわちバッチアンサンブルを組み込んだ。 We show that BE-SNNs yield superior performance on the Two-Moons dataset, the FashionMNIST vs MNIST dataset, FashionM。
  論文  参考訳（メタデータ） (2022-06-26T16:00:22Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• Subgroup Generalization and Fairness of Graph Neural Networks [12.88476464580968]
  非IID半教師付き学習環境下でのGNNに対する新しいPAC-Bayesian解析を提案する。 さらに、理論的な観点から、GNNの精度(dis)パリティスタイル(un)フェアネスについて研究する。
  論文  参考訳（メタデータ） (2021-06-29T16:13:41Z)
• Group Equivariant Neural Architecture Search via Group Decomposition and Reinforcement Learning [17.291131923335918]
  我々は、同値ニューラルネットワークの文脈において、新しい群論的結果を証明する。 また、計算複雑性を大幅に改善する同変ネットワークを構築するアルゴリズムを設計する。 我々は、性能を最大化するグループ同変ネットワークの探索に深層Q-ラーニングを用いる。
  論文  参考訳（メタデータ） (2021-04-10T19:37:25Z)
• Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks [6.585049648605185]
  自己監督型自動学習(SSAL)モデルの概念を紹介します。 SSALの目的は、元の教師付き分類タスクから派生した1つ以上の追加目標によって実現される。 SSALモデルは、より解釈しやすい構造化された予測を提供しながら、常に最先端を上回ります。
  論文  参考訳（メタデータ） (2021-01-07T18:41:16Z)
• Ensembles of Spiking Neural Networks [0.3007949058551534]
  本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。 MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。 我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
  論文  参考訳（メタデータ） (2020-10-15T17:45:18Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。