論文の概要: Cross-Paradigm Knowledge Distillation: A Comprehensive Study of Bidirectional Transfer Between Random Forests and Deep Neural Networks for Big Data Applications

• arxiv url: http://arxiv.org/abs/2605.19299v1
• Date: Tue, 19 May 2026 03:19:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.095665
• Title: Cross-Paradigm Knowledge Distillation: A Comprehensive Study of Bidirectional Transfer Between Random Forests and Deep Neural Networks for Big Data Applications
• Title（参考訳）: クロスパラダイム知識蒸留:ビッグデータ応用のためのランダムフォレストとディープニューラルネットワーク間の双方向移動に関する総合的研究
• Authors: Mahdi Naser Moghadasi,
• Abstract要約: 本稿では,ランダムフォレスト (RF) とディープニューラルネットワーク (DNN) の双方向知識蒸留に関する最初の総合的研究について述べる。 本研究では, 進行多段階蒸留, 多様な木モデルからの多段階アンサンブル蒸留, 不確実性を考慮したクロスパラダイム転送機構などの新しい手法を提案する。 NN-COMPACTは98.13%,NN-WIDEは92.6%,レグレッションタスクは92.6%であった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The exponential growth of big data has intensified the need for efficient and interpretable machine learning models that can handle diverse data characteristics while maintaining computational efficiency. Knowledge distillation has primarily focused on neural network-to-neural network transfer, leaving cross-paradigm knowledge transfer largely unexplored. This paper presents the first comprehensive study of bidirectional knowledge distillation between Random Forests (RF) and Deep Neural Networks (DNN), addressing critical gaps in ensemble learning and model compression for big data applications. We propose novel methodologies including progressive multi-stage distillation, multi-teacher ensemble distillation from diverse tree models, and uncertainty-aware cross-paradigm transfer mechanisms. Through 144 comprehensive experiments across 6 diverse datasets encompassing classification and regression tasks, we demonstrate that bidirectional RF-DL distillation achieves competitive performance while providing complementary benefits: interpretability from tree models and expressiveness from neural networks. Our results show that multi-teacher ensemble distillation consistently outperforms traditional approaches, with NN-COMPACT achieving 98.13% classification accuracy and NN-WIDE reaching 92.6% R^2 score in regression tasks. The proposed framework enables deployment flexibility in big data environments, allowing optimal model selection based on computational constraints and interpretability requirements. This work establishes a new research direction in cross-paradigm knowledge transfer with significant implications for interpretable AI and scalable model deployment in resource-constrained big data systems.
• Abstract（参考訳）: ビッグデータの指数的成長により、計算効率を維持しながら多様なデータ特性を処理できる効率的かつ解釈可能な機械学習モデルの必要性が高まっている。 知識蒸留は主にニューラルネットワークからニューラルネットワークへのネットワーク転送に重点を置いており、クロスパラダイムな知識伝達はほとんど探索されていない。 本稿では,ランダムフォレスト (RF) とディープニューラルネットワーク (DNN) の双方向知識蒸留に関する最初の総合的研究を行い,ビッグデータアプリケーションにおけるアンサンブル学習とモデル圧縮における重要なギャップに対処する。 本研究では, 進行多段階蒸留, 多様な木モデルからの多段階アンサンブル蒸留, 不確実性を考慮したクロスパラダイム転送機構などの新しい手法を提案する。 分類タスクと回帰タスクを含む6つの多様なデータセットを対象とした144の総合的な実験を通じて、双方向RF-DL蒸留が競合性能を実現し、相補的な利点:木モデルからの解釈可能性、ニューラルネットワークからの表現性を提供することを示した。 NN-COMPACTは98.13%,NN-WIDEは92.6%,レグレッションタスクは92.6%であった。 提案するフレームワークは,ビッグデータ環境におけるデプロイメントの柔軟性を実現し,計算制約や解釈可能性要件に基づいた最適なモデル選択を可能にする。 この研究は、リソースに制約のあるビッグデータシステムにおけるAIの解釈とスケーラブルなモデル展開に重要な意味を持つ、クロスパラダイムな知識伝達における新たな研究方向を確立する。

関連論文リスト

• Intrusion Detection in Heterogeneous Networks with Domain-Adaptive Multi-Modal Learning [1.03590082373586]
  我々は,マルチモーダル学習とドメイン適応手法を統合したディープニューラルネットワークを開発した。 我々のモデルは、様々なソースから連続的にデータを処理し、複数のデータセットから学習し、様々な特徴空間に適応できるようにします。 実験により,提案モデルがネットワーク侵入の分類において,ベースラインニューラルモデルよりも有意に優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-05T14:46:03Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Predicting Infant Brain Connectivity with Federated Multi-Trajectory GNNs using Scarce Data [54.55126643084341]
  既存のディープラーニングソリューションには,3つの大きな制限がある。 我々はフェデレートグラフベースの多軌道進化ネットワークであるFedGmTE-Net++を紹介する。 フェデレーションの力を利用して、限られたデータセットを持つ多種多様な病院の地域学習を集約する。
  論文  参考訳（メタデータ） (2024-01-01T10:20:01Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• CRNNTL: convolutional recurrent neural network and transfer learning for QSAR modelling [4.090810719630087]
  本稿では,QSARモデリングのための畳み込みリカレントニューラルネットワークと伝達学習(CRNNTL)を提案する。 我々の戦略は、特徴抽出のための畳み込みニューラルネットワークと繰り返しニューラルネットワークの両方の利点と、データ拡張手法の利点を生かしている。
  論文  参考訳（メタデータ） (2021-09-07T20:04:55Z)
• Canoe : A System for Collaborative Learning for Neural Nets [4.547883122787855]
  Canoeはニューラルネットワークの知識伝達を容易にするフレームワークである。 Canoeはヘルパーノードのニューラルネットワークから重要なパラメータを動的に抽出する新しいシステムサポートを提供する。 異なるPyTorchモデルとニューラルネットワークモデルによるCanoeの評価は、知識伝達機構が、独立した学習に比べて3.5Xへのモデルの適応性を改善することを示した。
  論文  参考訳（メタデータ） (2021-08-27T05:30:15Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。