論文の概要: LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading

• arxiv url: http://arxiv.org/abs/2501.09636v1
• Date: Thu, 16 Jan 2025 16:25:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:05.109881
• Title: LLM-Based Routing in Mixture of Experts: A Novel Framework for Trading
• Title（参考訳）: 専門家の混在におけるLLMベースのルーティング - 取引のための新しいフレームワーク
• Authors: Kuan-Ming Liu, Ming-Chih Lo,
• Abstract要約: 本稿では,Mix-of-experts(MoE)アーキテクチャのルータとして大規模言語モデル(LLM)を用いる新しいフレームワークを提案する。 具体的には、従来のニューラルネットワークベースのルータをLLMに置き換え、その広範な世界の知識と推論能力を活用する。 マルチモーダルな実世界のストックデータセットに関する我々の実験は、LLMoEが最先端のMoEモデルやその他のディープニューラルネットワークアプローチより優れていることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advances in deep learning and large language models (LLMs) have facilitated the deployment of the mixture-of-experts (MoE) mechanism in the stock investment domain. While these models have demonstrated promising trading performance, they are often unimodal, neglecting the wealth of information available in other modalities, such as textual data. Moreover, the traditional neural network-based router selection mechanism fails to consider contextual and real-world nuances, resulting in suboptimal expert selection. To address these limitations, we propose LLMoE, a novel framework that employs LLMs as the router within the MoE architecture. Specifically, we replace the conventional neural network-based router with LLMs, leveraging their extensive world knowledge and reasoning capabilities to select experts based on historical price data and stock news. This approach provides a more effective and interpretable selection mechanism. Our experiments on multimodal real-world stock datasets demonstrate that LLMoE outperforms state-of-the-art MoE models and other deep neural network approaches. Additionally, the flexible architecture of LLMoE allows for easy adaptation to various downstream tasks.
• Abstract（参考訳）: 深層学習と大規模言語モデル(LLM)の最近の進歩は、ストック・インベストメント・ドメインにおけるミックス・オブ・エキスパート(MoE)機構の展開を促進している。 これらのモデルは、有望なトレーディングパフォーマンスを示しているが、テキストデータのような他のモダリティで利用可能な情報の豊富さを無視して、しばしば非モダルである。 さらに、従来のニューラルネットワークベースのルータ選択メカニズムでは、コンテキストや実世界のニュアンスを考慮できないため、サブ最適専門家選択が実現される。 これらの制約に対処するため,LLMoE は MoE アーキテクチャ内のルータとして LLM を用いる新しいフレームワークである。 具体的には、従来のニューラルネットワークベースのルータをLLMに置き換え、過去の価格データと株価ニュースに基づいて専門家を選択するために、その豊富な世界の知識と推論能力を活用する。 このアプローチはより効果的で解釈可能な選択メカニズムを提供する。 マルチモーダルな実世界のストックデータセットに関する我々の実験は、LLMoEが最先端のMoEモデルやその他のディープニューラルネットワークアプローチより優れていることを示した。 さらに、LLMoEの柔軟なアーキテクチャにより、様々な下流タスクへの適応が容易になる。

関連論文リスト

• GRAPHMOE: Amplifying Cognitive Depth of Mixture-of-Experts Network via Introducing Self-Rethinking Mechanism [20.765816590224787]
  GraphMOE は Pseudo GraphMoE ネットワーク上に構築された自己再考機構により,言語モデルの認知深度を増大させる新しい手法である。 ローランド適応技術(LoRA)を用いて GraphMOE アーキテクチャを実装し,様々なベンチマークデータセットに対して広範な実験を行う。 実験の結果, GraphMOEは他のLoRAモデルよりも優れ,SOTA(State-of-the-art)性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-01-14T06:59:51Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Self-MoE: Towards Compositional Large Language Models with Self-Specialized Experts [49.950419707905944]
  本稿では,モノリシックLLMを,自己専門化の専門家による構成的,モジュール的なシステムに変換するアプローチであるSelf-MoEを紹介する。 提案手法は, 自己生成合成データを用いて, 専門家モジュールを構成する自己特殊化を利用する。 本研究は, モジュール性の重要性, マルチベースLCMへの適用性, 効率的でスケーラブルで適応可能なシステムの実現における自己改善の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2024-06-17T19:06:54Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless Systems [57.41621687431203]
  大規模言語モデル (LLM) と基礎モデルは6Gシステムのゲームチェンジャーとして最近注目されている。 本稿では,人工知能(AI)ネイティブネットワークの展開に適したユニバーサルファンデーションモデルを設計するための包括的ビジョンを提案する。
  論文  参考訳（メタデータ） (2024-01-30T00:21:41Z)
• OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models [44.848642930797155]
  OpenMoEは、完全にオープンソースで再現可能なデコーダのみのMixture-of-Experts (MoE)ベースの大規模言語モデル(LLM)のシリーズである。 本研究は,MoEをベースとしたLLMの方が高密度LLMよりも良好なコスト効率のトレードオフを提供できることを確認した。 MoEモデルにおけるルーティング決定は、主にトークンIDに基づいており、最小限のコンテキスト関連性がある。
  論文  参考訳（メタデータ） (2024-01-29T12:05:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。