論文の概要: Flow with FlorDB: Incremental Context Maintenance for the Machine Learning Lifecycle

• arxiv url: http://arxiv.org/abs/2408.02498v2
• Date: Fri, 15 Nov 2024 20:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:29:56.221065
• Title: Flow with FlorDB: Incremental Context Maintenance for the Machine Learning Lifecycle
• Title（参考訳）: Flow with FlorDB: マシンラーニングライフサイクルにおけるインクリメンタルコンテキストメンテナンス
• Authors: Rolando Garcia, Pragya Kallanagoudar, Chithra Anand, Sarah E. Chasins, Joseph M. Hellerstein, Erin Michelle Turner Kerrison, Aditya G. Parameswaran,
• Abstract要約: 機械学習パイプラインから任意のメタデータを抽出・クエリする手法を提案する。 後ろ向きのロギングによって、そのようなステートメントが追加され、ポストホックで実行されるかを示します。 これは、アジャイル開発の重要なパスから外れた"メタメタスタイル"で行われます。
• 参考スコア（独自算出の注目度）: 9.424552130799661
• License:
• Abstract: In this paper we present techniques to incrementally harvest and query arbitrary metadata from machine learning pipelines, without disrupting agile practices. We center our approach on the developer-favored technique for generating metadata -- log statements -- leveraging the fact that logging creates context. We show how hindsight logging allows such statements to be added and executed post-hoc, without requiring developer foresight. Relational views of incomplete metadata can be queried to dynamically materialize new metadata in bulk and on demand across multiple versions of workflows. This is done in a "metadata later" style, off the critical path of agile development. We realize these ideas in a system called FlorDB and demonstrate how the data context framework covers a range of both ad-hoc metadata as well as special cases treated today by bespoke feature stores and model repositories. Through a usage scenario -- including both ML and human feedback -- we illustrate how the component techniques come together to resolve classic software engineering trade-offs between agility and discipline.
• Abstract（参考訳）: 本稿では,機械学習パイプラインから任意のメタデータをインクリメンタルに抽出し,クエリする手法を提案する。 当社のアプローチは、ログがコンテキストを生成するという事実を活用して、メタデータ -- ログステートメント -- を生成する、開発者から好まれるテクニックに重点を置いています。 開発者の監視を必要とせずに、後向きのロギングによってこのようなステートメントの追加や実行が可能になったかを示します。 不完全なメタデータのリレーショナルビューは、複数のバージョンのワークフローにまたがって、大量のメタデータとオンデマンドで動的に新しいメタデータを実体化するためにクエリすることができる。 これはアジャイル開発の重要な道から外れた"メタメタ"スタイルで行われます。 これらのアイデアをFlorDBと呼ばれるシステムで実現し、データコンテキストフレームワークがアドホックなメタデータと、今日、bespoke機能ストアとモデルリポジトリによって扱われている特別なケースの両方をどのようにカバーしているかを実証する。 MLと人的フィードバックの両方を含む利用シナリオを通じて、私たちは、アジリティと規律の間の古典的なソフトウェア工学のトレードオフを解決するために、コンポーネントのテクニックがどのように統合されるかを説明します。

関連論文リスト

• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• An Integrated Data Processing Framework for Pretraining Foundation Models [57.47845148721817]
  研究者や実践者は、しばしば異なるソースからデータセットを手動でキュレートする必要がある。 本稿では,処理モジュールと解析モジュールを統合したデータ処理フレームワークを提案する。 提案されたフレームワークは使いやすく、柔軟です。
  論文  参考訳（メタデータ） (2024-02-26T07:22:51Z)
• Learning to Learn from APIs: Black-Box Data-Free Meta-Learning [95.41441357931397]
  データフリーなメタラーニング(DFML)は、トレーニングデータにアクセスせずに事前訓練されたモデルの集合からメタラーニングすることで、新しいタスクの効率的な学習を可能にすることを目的としている。 既存のDFMLの作業は、(i)ホワイトボックスと(ii)小規模事前訓練モデルからしかメタ学習できない。 ブラックボックスAPIの集合から単一のモデルへ,より一般的なメタ知識を伝達するための,バイレベルデータフリーなメタ知識蒸留(BiDf-MKD)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T18:00:12Z)
• Optimizing the AI Development Process by Providing the Best Support Environment [0.756282840161499]
  機械学習の主なステージは、問題理解、データ管理、モデル構築、モデル展開、メンテナンスである。 このフレームワークは、ディープラーニングの進歩を使ってデータ拡張を実行するために、python言語を使用して構築された。
  論文  参考訳（メタデータ） (2023-04-29T00:44:50Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming [77.38174112525168]
  私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
  論文  参考訳（メタデータ） (2022-03-02T19:57:32Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Exploring the potential of flow-based programming for machine learning deployment in comparison with service-oriented architectures [8.677012233188968]
  理由のひとつは、データ収集と分析に関するアクティビティのために設計されていないインフラストラクチャである、と私たちは論じています。 本稿では,データストリームを用いたフローベースのプログラミングを,ソフトウェアアプリケーション構築に広く使用されるサービス指向アーキテクチャの代替として検討する。
  論文  参考訳（メタデータ） (2021-08-09T15:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。