論文の概要: A Data-Centric Framework for Composable NLP Workflows
- arxiv url: http://arxiv.org/abs/2103.01834v2
- Date: Wed, 3 Mar 2021 02:57:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-06 10:00:52.887542
- Title: A Data-Centric Framework for Composable NLP Workflows
- Title(参考訳): 構成可能なNLPワークフローのためのデータセンタフレームワーク
- Authors: Zhengzhong Liu, Guanxiong Ding, Avinash Bukkittu, Mansi Gupta, Pengzhi
Gao, Atif Ahmed, Shikun Zhang, Xin Gao, Swapnil Singhavi, Linwei Li, Wei Wei,
Zecong Hu, Haoran Shi, Xiaodan Liang, Teruko Mitamura, Eric P. Xing, and
Zhiting Hu
- Abstract要約: アプリケーションドメインにおける経験的自然言語処理システム(例えば、ヘルスケア、ファイナンス、教育)は、複数のコンポーネント間の相互運用を伴う。
我々は,このような高度なNLPの高速な開発を支援するために,統一的なオープンソースフレームワークを構築した。
- 参考スコア(独自算出の注目度): 109.51144493023533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical natural language processing (NLP) systems in application domains
(e.g., healthcare, finance, education) involve interoperation among multiple
components, ranging from data ingestion, human annotation, to text retrieval,
analysis, generation, and visualization. We establish a unified open-source
framework to support fast development of such sophisticated NLP workflows in a
composable manner. The framework introduces a uniform data representation to
encode heterogeneous results by a wide range of NLP tasks. It offers a large
repository of processors for NLP tasks, visualization, and annotation, which
can be easily assembled with full interoperability under the unified
representation. The highly extensible framework allows plugging in custom
processors from external off-the-shelf NLP and deep learning libraries. The
whole framework is delivered through two modularized yet integratable
open-source projects, namely Forte1 (for workflow infrastructure and NLP
function processors) and Stave2 (for user interaction, visualization, and
annotation).
- Abstract(参考訳): アプリケーションドメインにおける経験的自然言語処理(NLP)システム(例えば、医療、金融、教育)は、データの取り込み、人間のアノテーション、テキスト検索、分析、生成、可視化など、さまざまなコンポーネント間の相互運用を含む。
このような高度なNLPワークフローの迅速な開発を支援するために,我々は統一されたオープンソースフレームワークを構築している。
このフレームワークは、幅広いNLPタスクによって異種結果をエンコードするための統一データ表現を導入している。
nlpタスク、ビジュアライゼーション、アノテーションのためのプロセッサの大規模なリポジトリを提供しており、統一表現の下で完全な相互運用性で簡単に組み立てることができる。
拡張性の高いフレームワークにより、外部の既製のNLPとディープラーニングライブラリからカスタムプロセッサをプラグインできる。
フレームワーク全体は,2つのモジュール化された統合可能なオープンソースプロジェクト,すなわちforte1(ワークフローインフラストラクチャとnlp関数プロセッサ)とstave2(ユーザインタラクション,可視化,アノテーション)を通じて提供される。
関連論文リスト
- Sketch: A Toolkit for Streamlining LLM Operations [51.33202045501429]
大規模言語モデル(LLM)は大きな成功を収めた。
アウトプットフォーマットの柔軟性は、モデルのアウトプットを制御および活用する上での課題を引き起こします。
スケッチ(Sketch)は、多種多様な分野にわたるLCM操作を合理化するための革新的なツールキットである。
論文 参考訳(メタデータ) (2024-09-05T08:45:44Z) - Enhancing LLM's Cognition via Structurization [41.13997892843677]
大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。
本稿では,コンテキスト構造化という新しい概念を提案する。
具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
論文 参考訳(メタデータ) (2024-07-23T12:33:58Z) - Towards More Unified In-context Visual Understanding [74.55332581979292]
マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。
まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。
次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
論文 参考訳(メタデータ) (2023-12-05T06:02:21Z) - A Composable Just-In-Time Programming Framework with LLMs and FBP [0.0]
本稿では、フローベースプログラミング(FBP)とLarge Language Models(LLM)を組み合わせてJust-In-Time Programming(JITP)を実現するコンピューティングフレームワークを提案する。
JITPは、プログラミングの専門知識に関わらず、タスクタイムのアルゴリズム的洞察を活用することで、開発と自動化プロセスに積極的に参加することを可能にする。
このフレームワークは、フローベースのプログラム内で動的コード実行を可能にするために、リアルタイムでコードをリクエストし、生成することができる。
論文 参考訳(メタデータ) (2023-07-31T23:51:46Z) - NLP Workbench: Efficient and Extensible Integration of State-of-the-art
Text Mining Tools [6.197644109088143]
非専門家は、最先端のテキストマイニングモデルを用いて大規模コーパスのセマンティック理解を得ることができる。
このプラットフォームは、最新のトレーニング済みモデルと、アカデミアのオープンソースシステムの上に構築されている。
論文 参考訳(メタデータ) (2023-03-02T16:59:31Z) - HugNLP: A Unified and Comprehensive Library for Natural Language
Processing [14.305751154503133]
本稿では,HugingFace Transformersのバックエンドを備えた自然言語処理(NLP)ライブラリであるHugNLPを紹介する。
HugNLPは、モデル、プロセッサ、アプリケーションを含む階層構造で構成され、異なるNLPタスクで事前訓練された言語モデル(PLM)の学習プロセスを統一する。
論文 参考訳(メタデータ) (2023-02-28T03:38:26Z) - Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data
Programming [77.38174112525168]
私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
論文 参考訳(メタデータ) (2022-03-02T19:57:32Z) - Leveraging Language to Learn Program Abstractions and Search Heuristics [66.28391181268645]
LAPS(Language for Abstraction and Program Search)は、自然言語アノテーションを用いて、ライブラリとニューラルネットワークによる合成のための検索モデルの共同学習をガイドする手法である。
最先端のライブラリ学習システム(DreamCoder)に統合されると、LAPSは高品質なライブラリを生成し、検索効率と一般化を改善する。
論文 参考訳(メタデータ) (2021-06-18T15:08:47Z) - FedNLP: A Research Platform for Federated Learning in Natural Language
Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。
FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。
FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文 参考訳(メタデータ) (2021-04-18T11:04:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。