論文の概要: Federated Reasoning Distillation Framework with Model Learnability-Aware Data Allocation

• arxiv url: http://arxiv.org/abs/2602.18749v1
• Date: Sat, 21 Feb 2026 08:18:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-24 17:42:02.288425
• Title: Federated Reasoning Distillation Framework with Model Learnability-Aware Data Allocation
• Title（参考訳）: モデル学習可能性を考慮したフェデレート推論蒸留フレームワーク
• Authors: Wei Guo, Siyuan Lu, Xiangdong Ran, Yiqi Tong, Yikun Ban, Zelong Xu, Jing Fan, Zixuan Huang, Xiao Zhang, Zhaojun Hu, Fuzhen Zhuang,
• Abstract要約: モデル学習可能性を考慮したデータアロケーションを備えた,連合型推論蒸留フレームワークLaDaを提案する。 LaDaは既存のコラボレーションフレームワーク用のプラグインモジュールとして動作し、モデルの学習可能性ギャップに基づいた知識伝達を適用する。
• 参考スコア（独自算出の注目度）: 33.153769672977035
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data allocation plays a critical role in federated large language model (LLM) and small language models (SLMs) reasoning collaboration. Nevertheless, existing data allocation methods fail to address an under-explored challenge in collaboration: bidirectional model learnability gap, where client-side SLMs cannot identify high-reward samples matching their learnability constraints for effective knowledge transfer from LLMs, while LLMs struggle to select samples contributing novel knowledge beyond their existing data. Furthermore, these collaboration frameworks face another key challenge: domain-agnostic reasoning transfer, where existing reasoning transfer methods fail to flexibly adapt to the local domain data, preventing SLMs from effectively acquiring step-by-step reasoning abilities within from general LLM. To address these challenges, we propose LaDa, a federated reasoning distillation framework with model learnability-aware data allocation. It introduces a model learnability-aware data filter that adaptively allocates high-reward samples based on the learnability gap between each SLM and LLM pair, effectively facilitating bidirectional knowledge transfer. We further design a domain adaptive reasoning distillation method that aligns joint probabilities of reasoning paths on filtered high-reward samples through contrastive distillation learning between SLM and LLM, enabling SLM to capture underlying reasoning patterns under local data distribution. LaDa operates as a plug-in module for existing collaboration frameworks, adapting knowledge transfer based on model learnability gaps.
• Abstract（参考訳）: データアロケーションは、連合型大言語モデル(LLM)と小言語モデル(SLM)の推論コラボレーションにおいて重要な役割を果たす。 クライアントサイドのSLMは、LLMから効果的な知識伝達のための学習可能性の制約に適合するハイリワードのサンプルを識別できないが、LCMは、既存のデータを超えて新しい知識をもたらすサンプルを選択するのに苦労している。 さらに、これらの協調フレームワークは、ドメインに依存しない推論転送(Domain-Agnostic reasoning Transfer)という別の重要な課題に直面している。 これらの課題に対処するために、モデル学習可能性を考慮したデータアロケーションを備えた連邦推論蒸留フレームワークであるLaDaを提案する。 本研究では,SLM と LLM のペア間の学習可能性ギャップに基づいて高次サンプルを適応的に割り当てるモデル学習可能性対応データフィルタを導入し,双方向の知識伝達を効果的に促進する。 さらに,SLM と LLM の対比蒸留学習により,SLM と LLM の共振経路の共振確率を整合させる領域適応推論蒸留法を設計し,SLM が局所データ分布の根底にある推論パターンを捕捉できるようにする。 LaDaは既存のコラボレーションフレームワーク用のプラグインモジュールとして動作し、モデルの学習可能性ギャップに基づいた知識伝達を適用する。

関連論文リスト

• Pushing LLMs to Their Logical Reasoning Bound: The Role of Data Reasoning Intensity [59.27594125465172]
  データ推論強度 (Data Reasoning Intensity, DRI) は, サンプルの潜在論理的推論複雑性を定量化する新しい指標である。 次に、学習データの論理的推論強度を体系的に強化する再認識最適化戦略を導入する。
  論文  参考訳（メタデータ） (2025-09-29T14:20:04Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
  多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective [29.924482732745954]
  既存のアプローチでは、忘れられるべきデータポイントは独立であり、接続性を無視していると仮定している。 構造データセットをコンパイルする手法であるPISTOLを提案する。
  論文  参考訳（メタデータ） (2024-06-24T17:22:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。