論文の概要: MonoKAN: Certified Monotonic Kolmogorov-Arnold Network
- arxiv url: http://arxiv.org/abs/2409.11078v1
- Date: Tue, 17 Sep 2024 11:10:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 17:05:36.301692
- Title: MonoKAN: Certified Monotonic Kolmogorov-Arnold Network
- Title(参考訳): MonoKAN: Certified Monotonic Kolmogorov-Arnold Network
- Authors: Alejandro Polo-Molina, David Alfaya, Jose Portela,
- Abstract要約: 特定のアプリケーションでは、モデル予測は専門家が提案した要件と一致し、時には部分的な単調性制約によって例示されなければならない。
我々は,kanアーキテクチャに基づく新しいANNアーキテクチャMonoKANを導入し,解釈性を高めつつ,認証された部分的単調性を実現する。
実験の結果,MonoKANは解釈可能性を高めるだけでなく,ほとんどのベンチマークにおける予測性能も向上し,最先端のモノトニックアプローチよりも優れていた。
- 参考スコア(独自算出の注目度): 48.623199394622546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Artificial Neural Networks (ANNs) have significantly advanced various fields by effectively recognizing patterns and solving complex problems. Despite these advancements, their interpretability remains a critical challenge, especially in applications where transparency and accountability are essential. To address this, explainable AI (XAI) has made progress in demystifying ANNs, yet interpretability alone is often insufficient. In certain applications, model predictions must align with expert-imposed requirements, sometimes exemplified by partial monotonicity constraints. While monotonic approaches are found in the literature for traditional Multi-layer Perceptrons (MLPs), they still face difficulties in achieving both interpretability and certified partial monotonicity. Recently, the Kolmogorov-Arnold Network (KAN) architecture, based on learnable activation functions parametrized as splines, has been proposed as a more interpretable alternative to MLPs. Building on this, we introduce a novel ANN architecture called MonoKAN, which is based on the KAN architecture and achieves certified partial monotonicity while enhancing interpretability. To achieve this, we employ cubic Hermite splines, which guarantee monotonicity through a set of straightforward conditions. Additionally, by using positive weights in the linear combinations of these splines, we ensure that the network preserves the monotonic relationships between input and output. Our experiments demonstrate that MonoKAN not only enhances interpretability but also improves predictive performance across the majority of benchmarks, outperforming state-of-the-art monotonic MLP approaches.
- Abstract(参考訳): ANN(Artificial Neural Networks)は、パターンを効果的に認識し、複雑な問題を解くことによって、様々な分野を著しく進歩させてきた。
これらの進歩にもかかわらず、透明性と説明責任が不可欠であるアプリケーションにおいて、それらの解釈可能性は依然として重要な課題である。
これを解決するために、説明可能なAI(XAI)は、ANNの解読を進歩させたが、解釈可能性だけでは不十分であることが多い。
特定のアプリケーションでは、モデル予測は専門家が提案した要件と一致し、時には部分的な単調性制約によって例示されなければならない。
単調なアプローチは従来の多層パーセプトロン(MLP)の文献で見られるが、解釈可能性と証明された部分的単調性の両方を達成するのに依然として困難に直面している。
近年,スプライスとしてパラメタライズされた学習可能なアクティベーション関数に基づくKANアーキテクチャが,MLPのより解釈可能な代替品として提案されている。
そこで我々は,kanアーキテクチャをベースとした新しいANNアーキテクチャMonoKANを導入し,解釈性を高めつつ,認証された部分的単調性を実現する。
これを実現するために立方体のハーマイトスプラインを使用し、単純条件の集合を通して単調性を保証する。
さらに、これらのスプラインの線形結合における正の重みを用いることで、入力と出力の間のモノトニックな関係を保存する。
実験の結果,MonoKANは解釈可能性の向上だけでなく,ほとんどのベンチマークにおいて予測性能の向上を実現し,最先端のモノトニックMLPアプローチよりも優れていた。
関連論文リスト
- Mamba-PTQ: Outlier Channels in Recurrent Large Language Models [49.1574468325115]
本研究では,マンバモデルが注目型LLMで観測された異常チャネルと同じパターンを示すことを示す。
本研究では,SSMの定量化が難しい理由は,トランスフォーマーベースLLMで見られるような,アクティベーションアウトレーヤによるものであることを示す。
論文 参考訳(メタデータ) (2024-07-17T08:21:06Z) - A Mathematical Certification for Positivity Conditions in Neural Networks with Applications to Partial Monotonicity and Ethical AI [48.623199394622546]
LipVorは、ANNのようなブラックボックスモデルが有限個の評価に基づいて正であるかどうかを認証するアルゴリズムである。
我々の手法は、ANNが部分的に単調であるかどうかを数学的に証明できるが、制約のあるANNのアーキテクチャや断片的な線形アクティベーション関数は不要である。
論文 参考訳(メタデータ) (2024-06-12T07:33:38Z) - Expressive Monotonic Neural Networks [1.0128808054306184]
ニューラルネットワークの出力のいくつかの入力に対する単調な依存は、ドメイン知識がそのような振る舞いを規定する多くのシナリオにおいて決定的な帰納的バイアスである。
入力の任意の部分集合における正確な単調依存を実現するために, 単一の残差接続を持つ重み制約アーキテクチャを提案する。
このアルゴリズムが、競争性能を達成するための強力で堅牢で解釈可能な識別器の訓練にどのように使われているかを示す。
論文 参考訳(メタデータ) (2023-07-14T17:59:53Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - Decomposing Natural Logic Inferences in Neural NLI [9.606462437067984]
ニューラルNLIモデルは、単調性や概念包摂性といった、自然論理の中心となる重要な意味的特徴を捉えているかどうかを考察する。
ベンチマークで高いスコアを得る人気NLIモデルの表現において、モノトニック性情報は顕著に弱いことが判明した。
論文 参考訳(メタデータ) (2021-12-15T17:35:30Z) - Supporting Context Monotonicity Abstractions in Neural NLI Models [2.624902795082451]
特定の NLI 問題では、包含ラベルは文脈の単調性と置換概念間の関係にのみ依存する。
抽象単位としての文脈処理を記述した、健全で簡略化された単調性論理形式論を紹介します。
フォーマリズムにおける概念を用いて、ターゲットとするチャレンジセットを適応させ、中間コンテキストのモノトニック性分類タスクがNLIモデルのパフォーマンスを補助するかどうかを検討する。
論文 参考訳(メタデータ) (2021-05-17T16:43:43Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - Certified Monotonic Neural Networks [15.537695725617576]
本稿では,混合整数線形計画問題の解法により,一般のピースワイド線形ニューラルネットワークの単調性を証明することを提案する。
我々のアプローチでは、重み空間に対する人間設計の制約を必要とせず、より正確な近似が得られる。
論文 参考訳(メタデータ) (2020-11-20T04:58:13Z) - Monotone operator equilibrium networks [97.86610752856987]
我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。
暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。
次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
論文 参考訳(メタデータ) (2020-06-15T17:57:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。