論文の概要: Intelligent Spark Agents: A Modular LangGraph Framework for Scalable, Visualized, and Enhanced Big Data Machine Learning Workflows

• arxiv url: http://arxiv.org/abs/2412.01490v3
• Date: Wed, 04 Dec 2024 04:44:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 11:47:11.814782
• Title: Intelligent Spark Agents: A Modular LangGraph Framework for Scalable, Visualized, and Enhanced Big Data Machine Learning Workflows
• Title（参考訳）: Intelligent Spark Agents: スケーラブルで視覚化され、強化されたビッグデータ機械学習ワークフローのためのモジュール型LangGraphフレームワーク
• Authors: Jialin Wang, Zhihua Duan,
• Abstract要約: 本稿では,ビッグデータにおけるAIと機械学習のためのビジュアルプロセスモデリングツールを紹介する。 このツールは、データ前処理、機能エンジニアリング、モデルトレーニング、評価といった、機械学習の重要なステージを表している。 アナリストは視覚的に設計でき、実行のために最適化されたSparkコードに自動的に変換される。
• 参考スコア（独自算出の注目度）: 1.4582633500696451
• License:
• Abstract: This paper introduces a visual process modeling tool for AI and machine learning in big data contexts, utilizing the LangGraph framework to construct intelligent Spark agents. The tool represents key machine learning stages - data preprocessing, feature engineering, model training, and evaluation - as modular components. Analysts can visually design workflows, which are then automatically translated into optimized Spark code for execution. This approach simplifies the complexity of Apache Spark, reduces the learning curve associated with Scala, and enhances code reusability. The paper discusses the theoretical foundations, key technologies, and evaluates the effectiveness of the proposed solution.
• Abstract（参考訳）: 本稿では、LangGraphフレームワークを用いてインテリジェントなSparkエージェントを構築することにより、ビッグデータコンテキストにおけるAIと機械学習のためのビジュアルプロセスモデリングツールを提案する。 このツールは、データ前処理、機能エンジニアリング、モデルトレーニング、評価といった機械学習の重要なステージをモジュラコンポーネントとして表現している。 アナリストはワークフローを視覚的に設計し、自動的に最適化されたSparkコードに変換して実行することができる。 このアプローチはApache Sparkの複雑さを単純化し、Scalaに関連する学習曲線を小さくし、コードの再利用性を高める。 本稿では,理論の基礎,鍵となる技術について論じ,提案手法の有効性を評価する。

関連論文リスト

• Deep Fast Machine Learning Utils: A Python Library for Streamlined Machine Learning Prototyping [0.0]
  Deep Fast Machine Learning Utils (DFMLU)ライブラリは、機械学習プロセスのアスペクトを自動化および拡張するために設計されたツールを提供する。 DFMLUはモデル開発とデータ処理をサポートする機能を提供します。 この原稿はDFMLUの機能の概要を示し、各ツールにPythonの例を提供している。
  論文  参考訳（メタデータ） (2024-09-14T21:39:17Z)
• ToolACE: Winning the Points of LLM Function Calling [139.07157814653638]
  ToolACEは、正確で複雑で多様なツール学習データを生成するように設計された自動エージェントパイプラインである。 我々は、合成データに基づいてトレーニングされたモデルが、8Bパラメータだけで、バークレー・ファンクション・カリング・リーダーボード上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2024-09-02T03:19:56Z)
• CRAFT: Customizing LLMs by Creating and Retrieving from Specialized Toolsets [75.64181719386497]
  大規模言語モデル(LLM)のためのツール作成・検索フレームワークであるCRAFTを提案する。 タスク用に特別にキュレートされたツールセットを作成し、複雑なタスクを解決する能力を高めるためにこれらのセットからツールを取得するコンポーネントをLLMに装備する。 本手法はフレキシブルに設計されており,既製のLCMを細かな調整なしに未確認領域やモダリティに適応するためのプラグアンドプレイ方式を提供する。
  論文  参考訳（メタデータ） (2023-09-29T17:40:26Z)
• A Unified Active Learning Framework for Annotating Graph Data with Application to Software Source Code Performance Prediction [4.572330678291241]
  ソフトウェアの性能予測を専門とする一貫したアクティブラーニングフレームワークを開発した。 能動的・受動的学習に異なるレベルの情報を用いることが与える影響について検討する。 我々のアプローチは、異なるソフトウェアパフォーマンス予測のためのAIモデルへの投資を改善することを目的としています。
  論文  参考訳（メタデータ） (2023-04-06T14:00:48Z)
• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• Fine-Tuning Data Structures for Analytical Query Processing [0.5156484100374058]
  分析ワークロードの効率的な計算を支援するために,データ構造を自動的に選択するフレームワークを提案する。 本稿では,クエリ処理パラダイムの背景にあるアルゴリズムを表現可能な,新しい低レベル中間言語を提案する。 我々は,我々のフレームワークが生成したコードの性能が,最先端の分析クエリエンジンに匹敵するか,あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2021-12-24T16:36:35Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• AutoGL: A Library for Automated Graph Learning [67.63587865669372]
  グラフ上での機械学習を自動化するための,最初の専用ライブラリであるAutomated Graph Learning(AutoGL)を紹介する。 AutoGLはオープンソースで、使いやすく、拡張も柔軟です。 また、パイプラインのカスタマイズとアプリケーションの強化を容易にする、AutoGLの軽量バージョンであるAutoGL-lightも紹介します。
  論文  参考訳（メタデータ） (2021-04-11T10:49:23Z)
• tf.data: A Machine Learning Data Processing Framework [0.4588028371034406]
  機械学習モデルのトレーニングには、モデルに入力データを入力する必要がある。 機械学習ジョブのための効率的な入力パイプラインの構築と実行のためのフレームワークであるtf.dataを提案する。 入力パイプラインのパフォーマンスは、最先端の機械学習モデルのエンドツーエンドのトレーニング時間に極めて重要であることを実証する。
  論文  参考訳（メタデータ） (2021-01-28T17:16:46Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。