論文の概要: Awkward to RDataFrame and back

• arxiv url: http://arxiv.org/abs/2302.09860v1
• Date: Mon, 20 Feb 2023 09:41:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 16:00:58.943815
• Title: Awkward to RDataFrame and back
• Title（参考訳）: RDataFrameへのAwkwardとBack
• Authors: Ianna Osborne and Jim Pivarski
• Abstract要約: Awkward ArraysとRDataFrameは、2つの非常に異なる計算方法を提供している。 Awkward Arrayバージョン2では、ak.to_rdataframe関数は、Awkward ArrayのビューをRDataFrameソースとして表示する。 ak.from_rdataframe関数は、選択した列をネイティブなAwkward Arrayとして変換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Awkward Arrays and RDataFrame provide two very different ways of performing calculations at scale. By adding the ability to zero-copy convert between them, users get the best of both. It gives users a better flexibility in mixing different packages and languages in their analysis. In Awkward Array version 2, the ak.to_rdataframe function presents a view of an Awkward Array as an RDataFrame source. This view is generated on demand and the data are not copied. The column readers are generated based on the run-time type of the views. The readers are passed to a generated source derived from ROOT::RDF::RDataSource. The ak.from_rdataframe function converts the selected columns as native Awkward Arrays. The details of the implementation exploiting JIT techniques are discussed. The examples of analysis of data stored in Awkward Arrays via a high-level interface of an RDataFrame are presented. A few examples of the column definition, applying user-defined filters written in C++, and plotting or extracting the columnar data as Awkward Arrays are shown. Current limitations and future plans are discussed.
• Abstract（参考訳）: Awkward ArraysとRDataFrameは、2つの非常に異なる計算方法を提供している。 両者にゼロコピー変換機能を加えることで、ユーザーは両方を最大限に活用できる。 分析にさまざまなパッケージや言語を混ぜる際の柔軟性が向上します。 Awkward Arrayバージョン2では、ak.to_rdataframe関数がRDataFrameソースとしてAwkward Arrayのビューを表示する。 このビューはオンデマンドで生成され、データはコピーされない。 カラムリーダーは、ビューのランタイムタイプに基づいて生成される。 読者はROOT::RDF::RDataSourceから生成されたソースに渡される。 ak.from_rdataframe関数は、選択した列をネイティブなAwkward Arrayとして変換する。 JIT技術を利用した実装の詳細について論じる。 RDataFrameの高レベルインターフェースを介してAwkward Arraysに格納されたデータの分析例を示す。 C++で書かれたユーザ定義フィルタを適用し、Awkward Arrayとして列データをプロットまたは抽出する列定義のいくつかの例を示す。 現在の限界と今後の計画について論じる。

関連論文リスト

• Automated Question Generation on Tabular Data for Conversational Data Exploration [1.2574534342156884]
  本稿では,会話環境におけるデータセットの関連するスライスに基づいて,自然言語で興味深い質問を推薦するシステムを提案する。 我々は、訓練済みの言語モデル(T5)の微調整のバリエーションを使って、特定の方法で自然言語の質問を生成する。
  論文  参考訳（メタデータ） (2024-07-10T08:07:05Z)
• DataFrame QA: A Universal LLM Framework on DataFrame Question Answering Without Data Exposure [21.951377899915798]
  本稿では,大規模言語モデル(LLM)を用いてデータフレーム上での情報検索とデータ解析を行うPandasクエリを生成する新しいタスクであるDataFrame Question answering (QA)を紹介する。 提案手法は,データフレーム列名に依存するため,データプライバシを確保するだけでなく,プロンプトのコンテキストウィンドウを大幅に削減する。
  論文  参考訳（メタデータ） (2024-01-27T17:06:53Z)
• GMMFormer: Gaussian-Mixture-Model Based Transformer for Efficient Partially Relevant Video Retrieval [59.47258928867802]
  テキストクエリーが与えられた場合、部分関連ビデオ検索(PRVR)はデータベースに関連する瞬間を含むビデオを探し出そうとする。 本稿では,GMMFormerを提案する。GMMFormerはガウス・ミクチャーモデルに基づくトランスフォーマーで,クリップ表現を暗黙的にモデル化する。 3つの大規模ビデオデータセットの実験は、GMMFormerの優位性と効率を実証している。
  論文  参考訳（メタデータ） (2023-10-08T15:04:50Z)
• CoVR-2: Automatic Data Construction for Composed Video Retrieval [59.854331104466254]
  Composed Image Retrieval (CoIR) はテキストと画像のクエリを一緒に考えるタスクとして最近人気を集めている。 本稿では,ビデオキャプションペアのトリプレットを生成する,スケーラブルな自動データセット作成手法を提案する。 また、コンポジションビデオ検索(CoVR)を含むタスクの範囲を広げる。
  論文  参考訳（メタデータ） (2023-08-28T17:55:33Z)
• Fine-Grained Scene Graph Generation with Data Transfer [127.17675443137064]
  シーングラフ生成(SGG)は、画像中の三つ子(オブジェクト、述語、オブジェクト)を抽出することを目的としている。 最近の研究は、SGGを着実に進歩させ、高レベルの視覚と言語理解に有用なツールを提供している。 そこで本研究では,プレー・アンド・プラグ方式で適用可能で,約1,807の述語クラスを持つ大規模SGGに拡張可能な,内部・外部データ転送(IETrans)手法を提案する。
  論文  参考訳（メタデータ） (2022-03-22T12:26:56Z)
• RawArray: A Simple, Fast, and Extensible Archival Format for Numeric Data [0.0]
  科学研究において、生データのサイズは成長し、増大している。 プロプライエタリで靴を履いたデータフォーマットは、計算を遅くし、研究を再現し、新しいプラットフォームにメソッドを移植することを難しくします。 ここでは、RawArrayフォーマットについて述べる: ディスク上の多次元数値配列のアーカイブ記憶のための単純で高速、かつ形式である。
  論文  参考訳（メタデータ） (2021-11-30T03:51:24Z)
• Video and Text Matching with Conditioned Embeddings [81.81028089100727]
  本稿では,あるコーパスから与えられたビデオクリップにテキストをマッチングする方法と,その逆について述べる。 本研究では、クエリの関連情報を考慮し、データセットデータをエンコードする。 我々は、条件付き表現をビデオ誘導機械翻訳に転送し、VATEXの現在の結果を改善した。
  論文  参考訳（メタデータ） (2021-10-21T17:31:50Z)
• MTVR: Multilingual Moment Retrieval in Videos [89.24431389933703]
  大規模な多言語ビデオモーメント検索データセットであるmTVRを導入し、21.8Kのテレビ番組ビデオクリップから218Kの英語と中国語のクエリを含む。 データセットは、人気のTVRデータセット(英語)を中国語クエリと字幕のペアで拡張することで収集される。 両言語からのデータを学習し,操作する多言語モーメント検索モデルであるmXMLを提案する。
  論文  参考訳（メタデータ） (2021-07-30T20:01:03Z)
• TVR: A Large-Scale Dataset for Video-Subtitle Moment Retrieval [111.93601253692165]
  テレビ番組 Retrieval (TVR) は、新しいマルチモーダル検索データセットである。 TVRはビデオとそれに関連するサブタイトル(対話)のテキストの両方を理解する必要がある。 データセットには、さまざまなジャンルの6つのテレビ番組から21.8Kビデオで収集された109Kクエリが含まれている。
  論文  参考訳（メタデータ） (2020-01-24T17:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。