論文の概要: Model-to-Model Knowledge Transmission (M2KT): A Data-Free Framework for Cross-Model Understanding Transfer

• arxiv url: http://arxiv.org/abs/2511.17638v1
• Date: Wed, 19 Nov 2025 09:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:24.319689
• Title: Model-to-Model Knowledge Transmission (M2KT): A Data-Free Framework for Cross-Model Understanding Transfer
• Title（参考訳）: モデル間知識伝達(M2KT): モデル間理解伝達のためのデータフリーフレームワーク
• Authors: Pratham Sorte,
• Abstract要約: ニューラルネットワーク間のデータ自由な概念伝達のための新しいパラダイムであるM2KT(Model-to-Model Knowledge Transmission)を紹介する。 古典蒸留とは異なり、M2KTは主に例空間ではなく概念空間で機能する。 M2KTは、標準的な知識蒸留と比較して、データ使用量を98%以上削減しながら、教師のパフォーマンスの約85～90%を達成できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern artificial intelligence systems depend heavily on large datasets for both training and transferring knowledge between models. Knowledge distillation, transfer learning, and dataset distillation have made such transfers more efficient, yet they remain fundamentally data-driven: a teacher must produce examples, logits, or gradients for a student to learn. In this work, we introduce Model-to-Model Knowledge Transmission (M2KT), a novel paradigm for data-free conceptual transfer between neural networks. M2KT enables models to exchange knowledge packets that encapsulate structured concept embeddings, abstraction graphs, reasoning traces, and provenance metadata. Unlike classical distillation, M2KT operates primarily in concept space rather than example space, and it does not require labeled datasets or teacher-generated outputs during transfer. We formalize the notion of concept manifolds, introduce an inter-model alignment mapping between teacher and student latent spaces, and derive a composite loss that enforces geometric, structural, and reasoning consistency together with explicit safety constraints. We further present algorithmic procedures for teacher-side packet generation and student-side ingestion and verification. Experiments on symbolic reasoning with large language models show that M2KT can achieve approximately 85 to 90 percent of teacher performance while reducing data usage by over 98 percent compared to standard knowledge distillation. This work establishes a theoretical and practical foundation for data-free AI-to-AI knowledge transfer and self-improving model ecosystems.
• Abstract（参考訳）: 現代の人工知能システムは、モデル間の知識のトレーニングと伝達の両方のために、大きなデータセットに大きく依存している。 知識の蒸留、転写学習、データセットの蒸留により、こうした変換はより効率的になったが、基本的にはデータ駆動であり、教師は生徒が学ぶためにサンプル、ロジット、勾配を作らなければならない。 本稿では,ニューラルネットワーク間のデータ自由な概念伝達のための新しいパラダイムであるM2KTを紹介する。 M2KTは、構造化概念埋め込み、抽象グラフ、推論トレース、証明メタデータをカプセル化した知識パケットの交換を可能にする。 古典蒸留とは異なり、M2KTは主に例空間ではなく概念空間で機能し、転送中にラベル付きデータセットや教師生成出力を必要としない。 概念多様体の概念を形式化し、教師と学生の潜伏空間間のモデル間アライメントマッピングを導入し、幾何学的、構造的、推論的整合性を明示的な安全制約とともに強制する複合損失を導出する。 さらに,教師側のパケット生成と生徒側の取り込みと検証のためのアルゴリズム手順を提案する。 大きな言語モデルによるシンボリック推論の実験では、M2KTは標準的な知識蒸留と比較して88%以上のデータ使用量を削減しつつ、教師のパフォーマンスの約8～90%を達成できることが示された。 この研究は、データフリーなAIからAIへの知識伝達と自己改善モデルエコシステムの理論的かつ実践的な基盤を確立する。

関連論文リスト

• Empirical Evaluation of Knowledge Distillation from Transformers to Subquadratic Language Models [3.287942619833188]
  本研究では,トランスフォーマーの教師モデルから8つのサブクワッドラティックな学生アーキテクチャへの知識蒸留の伝達可能性について,体系的に評価する。 本研究では,教師モデルの知識蒸留による学習表現を最も効果的に近似できるサブクワッドラティックモデルについて検討した。
  論文  参考訳（メタデータ） (2025-04-19T17:49:52Z)
• SINKT: A Structure-Aware Inductive Knowledge Tracing Model with Large Language Model [64.92472567841105]
  知識追跡(KT)は、学生が次の質問に正しく答えるかどうかを判断することを目的としている。 大規模言語モデルを用いた構造認識帰納的知識追跡モデル(SINKT) SINKTは、学生の知識状態と質問表現とを相互作用させることで、対象の質問に対する学生の反応を予測する。
  論文  参考訳（メタデータ） (2024-07-01T12:44:52Z)
• Self-Regulated Data-Free Knowledge Amalgamation for Text Classification [9.169836450935724]
  そこで我々は,複数の教師モデルから学習できる軽量な学生ネットワークを構築した。 そこで本研究では,各教師に適したテキストデータを生成するモデリングフレームワークSTRATANETを提案する。 本手法は,ラベルやドメインの異なる3つのベンチマークテキスト分類データセットを用いて評価する。
  論文  参考訳（メタデータ） (2024-06-16T21:13:30Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.05167902805405]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• MOOCRep: A Unified Pre-trained Embedding of MOOC Entities [4.0963355240233446]
  我々はMOOCの構造から豊富なラベルのないデータを用いてMOOCエンティティの事前訓練された表現を学習することを提案する。 実験の結果,MOOCRepの埋め込みは,教育コミュニティにとって重要な2つの課題において,最先端の表現学習方法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-07-12T00:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。