論文の概要: MLP-KAN: Unifying Deep Representation and Function Learning

• arxiv url: http://arxiv.org/abs/2410.03027v1
• Date: Thu, 3 Oct 2024 22:22:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:25:56.028920
• Title: MLP-KAN: Unifying Deep Representation and Function Learning
• Title（参考訳）: MLP-KAN: 深層表現と関数学習の統合
• Authors: Yunhong He, Yifeng Xie, Zhengqing Yuan, Lichao Sun,
• Abstract要約: そこで本研究では,手動モデル選択の必要性を解消する統一手法を提案する。 表現学習にMLP(Multi-Layer Perceptrons)と関数学習にKolmogorov-Arnold Networks(KANsogo)を統合することにより,優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 7.634331640151854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in both representation learning and function learning have demonstrated substantial promise across diverse domains of artificial intelligence. However, the effective integration of these paradigms poses a significant challenge, particularly in cases where users must manually decide whether to apply a representation learning or function learning model based on dataset characteristics. To address this issue, we introduce MLP-KAN, a unified method designed to eliminate the need for manual model selection. By integrating Multi-Layer Perceptrons (MLPs) for representation learning and Kolmogorov-Arnold Networks (KANs) for function learning within a Mixture-of-Experts (MoE) architecture, MLP-KAN dynamically adapts to the specific characteristics of the task at hand, ensuring optimal performance. Embedded within a transformer-based framework, our work achieves remarkable results on four widely-used datasets across diverse domains. Extensive experimental evaluation demonstrates its superior versatility, delivering competitive performance across both deep representation and function learning tasks. These findings highlight the potential of MLP-KAN to simplify the model selection process, offering a comprehensive, adaptable solution across various domains. Our code and weights are available at \url{https://github.com/DLYuanGod/MLP-KAN}.
• Abstract（参考訳）: 近年の表現学習と関数学習の進歩は、人工知能の様々な領域において大きな可能性を証明している。 しかし,これらのパラダイムを効果的に統合することは,特に,データセットの特徴に基づいた表現学習モデルや関数学習モデルの適用を手作業で決めなければならない場合において,大きな課題となる。 この問題に対処するために,手動モデル選択を不要にするための統一手法であるMLP-KANを導入する。 表現学習のためのMLP(Multi-Layer Perceptrons)と、Mixture-of-Experts(MoE)アーキテクチャ内の関数学習のためのKAN(Kolmogorov-Arnold Networks)を統合することで、MLP-KANはタスクの特定の特性に動的に適応し、最適な性能を確保する。 トランスフォーマーベースのフレームワークに埋め込まれた我々の研究は、さまざまなドメインにまたがる4つの広く使われているデータセットにおいて顕著な結果をもたらす。 広範囲な実験的評価は、その優れた汎用性を示し、深層表現と関数学習の両方で競争力のある性能を提供する。 これらの知見は、MLP-KANがモデル選択プロセスを単純化し、様々な領域にわたって包括的で適応可能なソリューションを提供する可能性を強調している。 コードとウェイトは \url{https://github.com/DLYuanGod/MLP-KAN} で利用可能です。

関連論文リスト

• Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
  我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。 実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-16T19:18:06Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Intuition-aware Mixture-of-Rank-1-Experts for Parameter Efficient Finetuning [50.73666458313015]
  大規模言語モデル(LLM)はマルチメディアアプリケーションで複数のタスクを実行する上で大きな可能性を証明している。 MoEは、効率的なタスクデカップリングのためのスパースアーキテクチャによる有望なソリューションとして登場した。 Intuition-MoR1Eは14のパブリックデータセットで優れた効率と2.15%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-04-13T12:14:58Z)
• Self-Supervised Representation Learning with Meta Comprehensive Regularization [11.387994024747842]
  既存の自己管理フレームワークに組み込まれたCompMod with Meta Comprehensive Regularization (MCR)というモジュールを導入する。 提案したモデルを双方向最適化機構により更新し,包括的特徴を捉える。 本稿では,情報理論と因果対実的視点から提案手法の理論的支援を行う。
  論文  参考訳（メタデータ） (2024-03-03T15:53:48Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Adaptive Ensemble Learning: Boosting Model Performance through Intelligent Feature Fusion in Deep Neural Networks [0.0]
  本稿では,ディープラーニングの性能向上を目的としたAdaptive Ensemble Learningフレームワークを提案する。 このフレームワークは、より堅牢で適応可能なモデルを作成するために、アンサンブル学習戦略とディープラーニングアーキテクチャを統合する。 インテリジェントな特徴融合手法を利用することで、フレームワークはより差別的で効果的な特徴表現を生成する。
  論文  参考訳（メタデータ） (2023-04-04T21:49:49Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Multi-Domain Learning by Meta-Learning: Taking Optimal Steps in Multi-Domain Loss Landscapes by Inner-Loop Learning [5.490618192331097]
  マルチモーダルアプリケーションのためのマルチドメイン学習問題に対するモデル非依存の解法を考える。 我々の手法はモデルに依存しないため、追加のモデルパラメータやネットワークアーキテクチャの変更は不要である。 特に、ホワイトマター高輝度の自動セグメンテーションにおける医療画像のフィッティング問題に対するソリューションを実証します。
  論文  参考訳（メタデータ） (2021-02-25T19:54:44Z)
• Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining [37.2106265998237]
  メタファインチューニング(MFT)と呼ばれる効果的な学習手法を提案する。 MFTは、ニューラルネットワークモデルのための同様のNLPタスクのグループを解決するためのメタラーナーとして機能する。 BERT 上で MFT を実装し,複数のマルチドメインテキストマイニングタスクを解決する。
  論文  参考訳（メタデータ） (2020-03-29T11:27:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。