論文の概要: Two Heads are Better than One: Distilling Large Language Model Features Into Small Models with Feature Decomposition and Mixture

• arxiv url: http://arxiv.org/abs/2511.07110v1
• Date: Mon, 10 Nov 2025 13:57:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-11 21:18:45.285319
• Title: Two Heads are Better than One: Distilling Large Language Model Features Into Small Models with Feature Decomposition and Mixture
• Title（参考訳）: 2つの頭は1より優れている: 特徴分解と混合を伴う小さなモデルに大言語モデル特徴を蒸留する
• Authors: Tianhao Fu, Xinxin Xu, Weichen Xu, Jue Chen, Ruilong Ren, Bowen Deng, Xinyu Zhao, Jian Cao, Xixin Cao,
• Abstract要約: 強化学習(RL)による市場形成は、金融取引において大きな注目を集めている。 本稿では,階層,タスク,データという3次元にまたがる大規模言語モデルの特徴を分離する新しいフレームワークを提案する。 様々な学生モデルは、異なる次元と共に単純なLCMの特徴を協調的に学習し、それぞれのモデルは知識蒸留を達成するために異なる特徴に責任を負う。
• 参考スコア（独自算出の注目度）: 18.120222629850847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Market making (MM) through Reinforcement Learning (RL) has attracted significant attention in financial trading. With the development of Large Language Models (LLMs), more and more attempts are being made to apply LLMs to financial areas. A simple, direct application of LLM as an agent shows significant performance. Such methods are hindered by their slow inference speed, while most of the current research has not studied LLM distillation for this specific task. To address this, we first propose the normalized fluorescent probe to study the mechanism of the LLM's feature. Based on the observation found by our investigation, we propose Cooperative Market Making (CMM), a novel framework that decouples LLM features across three orthogonal dimensions: layer, task, and data. Various student models collaboratively learn simple LLM features along with different dimensions, with each model responsible for a distinct feature to achieve knowledge distillation. Furthermore, CMM introduces an H\'{a}jek-MoE to integrate the output of the student models by investigating the contribution of different models in a kernel function-generated common feature space. Extensive experimental results on four real-world market datasets demonstrate the superiority of CMM over the current distillation method and RL-based market-making strategies.
• Abstract（参考訳）: 強化学習(RL)による市場形成(MM)は、金融取引において大きな注目を集めている。 LLM(Large Language Models)の開発に伴い、LLMを金融分野に適用する試みがますます増えている。 エージェントとしてのLLMの単純で直接的な応用は、大きな性能を示している。 このような手法は推論速度の遅さによって妨げられているが、現在の研究の多くは、この特定のタスクに対するLLM蒸留について研究していない。 そこで我々はまず, LLMの特徴のメカニズムを研究するために, 正規化蛍光プローブを提案する。 本研究では,LLMの特徴を3つの直交次元(層,タスク,データ)で分離する新しいフレームワークである協調市場作成(CMM)を提案する。 様々な学生モデルは、異なる次元と共に単純なLCMの特徴を協調的に学習し、それぞれのモデルは知識蒸留を達成するために異なる特徴に責任を負う。 さらに、CMMはH\'{a}jek-MoEを導入し、カーネル関数生成共通特徴空間における異なるモデルの寄与を調べることによって、学生モデルの出力を統合する。 実世界の4つの市場データセットの大規模な実験結果は、現在の蒸留法とRLベースの市場形成戦略よりもCMMの方が優れていることを示している。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• LLaVA-MoD: Making LLaVA Tiny via MoE Knowledge Distillation [41.05687297326706]
  LLaVA-MoDは、小規模マルチモーダル言語モデルの効率的なトレーニングを可能にするために設計されたフレームワークである。 スパースミキサーアーキテクチャを言語モデルに統合することにより、s-MLLMのネットワーク構造を最適化する。 また,包括的知識移動を確保するために,先進的な知識移動戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-28T15:52:23Z)
• LLAVADI: What Matters For Multimodal Large Language Models Distillation [77.73964744238519]
  本研究では,新しい効率的なモデル構造を提案するのではなく,スクラッチから小規模MLLMを訓練する。 本研究は, 知識蒸留プロセスにおける学習戦略, モデル選択, 蒸留アルゴリズムに関するものである。 異なるベンチマークと適切な戦略を評価することで、2.7Bの小型モデルでも7Bまたは13Bのパラメータを持つ大型モデルと同等に動作することができる。
  論文  参考訳（メタデータ） (2024-07-28T06:10:47Z)
• Generative Multimodal Entity Linking [24.322540112710918]
  MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。 既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。 大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。 当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
  論文  参考訳（メタデータ） (2023-06-22T07:57:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。