Fugu-MT 論文翻訳(概要): Endowing Interpretability for Neural Cognitive Diagnosis by Efficient Kolmogorov-Arnold Networks

論文の概要: Endowing Interpretability for Neural Cognitive Diagnosis by Efficient Kolmogorov-Arnold Networks

arxiv url: http://arxiv.org/abs/2405.14399v1
Date: Thu, 23 May 2024 10:19:10 GMT
ステータス: 処理完了
システム内更新日: 2024-05-24 15:44:17.573895
Title: Endowing Interpretability for Neural Cognitive Diagnosis by Efficient Kolmogorov-Arnold Networks
Title（参考訳）: 効率的なコルモゴロフ・アルノルドネットワークによる神経認知診断のためのエンドウィング解釈可能性
Authors: Shangshang Yang, Linrui Qin, Xiaoshan Yu,
Abstract要約: 本稿では,効率的なコルモゴロフ・アルノルドネットワーク(KAN)による神経認知診断モデルの解釈可能性の向上を提案する。 Kanは2つの方法で解釈可能性を高めるように設計されている。 4つの実世界のデータセットの実験では、提案されたKA2NCDは従来のCDMよりも優れた性能を示している。
参考スコア（独自算出の注目度）: 1.6146855799845794
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In the realm of intelligent education, cognitive diagnosis plays a crucial role in subsequent recommendation tasks attributed to the revealed students' proficiency in knowledge concepts. Although neural network-based neural cognitive diagnosis models (CDMs) have exhibited significantly better performance than traditional models, neural cognitive diagnosis is criticized for the poor model interpretability due to the multi-layer perception (MLP) employed, even with the monotonicity assumption. Therefore, this paper proposes to empower the interpretability of neural cognitive diagnosis models through efficient kolmogorov-arnold networks (KANs), named KAN2CD, where KANs are designed to enhance interpretability in two manners. Specifically, in the first manner, KANs are directly used to replace the used MLPs in existing neural CDMs; while in the second manner, the student embedding, exercise embedding, and concept embedding are directly processed by several KANs, and then their outputs are further combined and learned in a unified KAN to get final predictions. To overcome the problem of training KANs slowly, we modify the implementation of original KANs to accelerate the training. Experiments on four real-world datasets show that the proposed KA2NCD exhibits better performance than traditional CDMs, and the proposed KA2NCD still has a bit of performance leading even over the existing neural CDMs. More importantly, the learned structures of KANs enable the proposed KA2NCD to hold as good interpretability as traditional CDMs, which is superior to existing neural CDMs. Besides, the training cost of the proposed KA2NCD is competitive to existing models.
Abstract（参考訳）: 知的教育の領域では、認知診断は、学習者の知識概念の習熟度に起因した後続の推薦課題において重要な役割を担っている。ニューラルネットワークに基づくニューラル認知診断モデル(CDM)は従来のモデルよりもはるかに優れた性能を示したが、ニューラル認知診断は、単調性仮定でさえも多層認識(MLP)が採用されているため、モデル解釈性が悪いとして批判されている。そこで本研究では,Kan2CD(Kan2CD)と呼ばれる,2つの方法での解釈性向上を目的とした,効率的なコルモゴロフ・アーノルドネットワーク(Kan2CD)によるニューラル認知診断モデルの解釈可能性の向上を提案する。第二に、学生の埋め込み、運動埋め込み、概念埋め込みは、複数のカンによって直接処理され、その出力はさらに結合され、統一されたカンで学習され、最終的な予測が得られる。そこで本研究では,カンの学習を緩やかに行うために,元のカンの実装を改良し,トレーニングを加速する。 4つの実世界のデータセットの実験では、提案されたKA2NCDは従来のCDMよりも優れたパフォーマンスを示しており、提案されたKA2NCDは既存のニューラルCDMよりも若干パフォーマンスが向上している。より重要なのは、KA2NCDが既存のニューラルCDMよりも優れている従来のCDMと同等に解釈可能であることである。さらに、提案されたKA2NCDのトレーニングコストは既存のモデルと競合する。

関連論文リスト

Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
論文参考訳（メタデータ） (2024-09-17T04:48:45Z)
Cognitive Networks and Performance Drive fMRI-Based State Classification Using DNN Models [0.0]
我々は、個々の認知状態を分類するために、構造的に異なる2つのDNNモデルと相補的なDNNモデルを用いる。アーキテクチャ上の違いにもかかわらず、両者のモデルが常に予測精度と個人の認知性能との間に堅牢な関係を生んでいることを示す。
論文参考訳（メタデータ） (2024-08-14T15:25:51Z)
Kolmogorov-Smirnov GAN [52.36633001046723]
我々は、KSGAN(Kolmogorov-Smirnov Generative Adversarial Network)という新しい深層生成モデルを提案する。既存のアプローチとは異なり、KSGANはKS距離の最小化として学習プロセスを定式化している。
論文参考訳（メタデータ） (2024-06-28T14:30:14Z)
Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。 DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
論文参考訳（メタデータ） (2024-02-06T11:10:35Z)
Informative Priors Improve the Reliability of Multimodal Clinical Data Classification [7.474271086307501]
ニューラルネットワークを考慮し、ネットワークパラメータよりも先に分布する、テーラーメイドのマルチモーダルデータ駆動型(M2D2)を設計する。我々は、M2D2以前のベイズニューラルネットワークをトレーニングするために、単純でスケーラブルな平均場変動推定を用いる。実験の結果,提案手法は決定論的およびベイズ的ニューラルネットワークベースラインと比較して,より信頼性の高い予測モデルを生成することがわかった。
論文参考訳（メタデータ） (2023-11-17T03:44:15Z)
Efficient kernel surrogates for neural network-based regression [0.8030359871216615]
ニューラルタンジェントカーネル(NTK)の効率的な近似である共役カーネル(CK)の性能について検討する。 CK性能がNTKよりもわずかに劣っていることを示し、特定の場合において、CK性能が優れていることを示す。 NTKの代わりにCKを使用するための理論的基盤を提供するだけでなく,DNNの精度を安価に向上するためのレシピを提案する。
論文参考訳（メタデータ） (2023-10-28T06:41:47Z)
Unleashing the Potential of Spiking Neural Networks for Sequential Modeling with Contextual Embedding [32.25788551849627]
脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、長期的な時間的関係をモデル化する上で、生物学的に競合するものと一致しようと苦労してきた。本稿では,新しい文脈埋め込みLeaky Integrate-and-Fire(CE-LIF)スパイキングニューロンモデルを提案する。
論文参考訳（メタデータ） (2023-08-29T09:33:10Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
論文参考訳（メタデータ） (2022-02-21T18:59:03Z)
Solvable Model for Inheriting the Regularization through Knowledge Distillation [2.944323057176686]
本稿では,知識蒸留の特性を解析的に評価できる統計物理フレームワークを提案する。 KDにより、より大規模な教師モデルの正規化特性を、より小さな学生に継承できることが示される。また、検討されたKD設定で生じる二重降下現象を解析する。
論文参考訳（メタデータ） (2020-12-01T01:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。