論文の概要: Facilitating Knowledge Sharing from Domain Experts to Data Scientists
for Building NLP Models
- arxiv url: http://arxiv.org/abs/2102.00036v1
- Date: Fri, 29 Jan 2021 19:37:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:25:15.610399
- Title: Facilitating Knowledge Sharing from Domain Experts to Data Scientists
for Building NLP Models
- Title（参考訳）: ドメインエキスパートからデータサイエンティストへの知識共有によるNLPモデルの構築
- Authors: Soya Park, April Wang, Ban Kawas, Q. Vera Liao, David Piorkowski,
Marina Danilevsky
- Abstract要約: Zivaは、NLPモデルを構築するために必須のドメイン知識をデータサイエンティストと共有するドメインエキスパートを導くフレームワークです。
Zivaがドメイン専門家とデータサイエンティストの相互作用を容易にする方法を評価するため、ミックスメソッドケーススタディを実施します。
- 参考スコア（独自算出の注目度）: 12.719349039333007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data scientists face a steep learning curve in understanding a new domain for
which they want to build machine learning (ML) models. While input from domain
experts could offer valuable help, such input is often limited, expensive, and
generally not in a form readily consumable by a model development pipeline. In
this paper, we propose Ziva, a framework to guide domain experts in sharing
essential domain knowledge to data scientists for building NLP models. With
Ziva, experts are able to distill and share their domain knowledge using domain
concept extractors and five types of label justification over a representative
data sample. The design of Ziva is informed by preliminary interviews with data
scientists, in order to understand current practices of domain knowledge
acquisition process for ML development projects. To assess our design, we run a
mix-method case-study to evaluate how Ziva can facilitate interaction of domain
experts and data scientists. Our results highlight that (1) domain experts are
able to use Ziva to provide rich domain knowledge, while maintaining low mental
load and stress levels; and (2) data scientists find Ziva's output helpful for
learning essential information about the domain, offering scalability of
information, and lowering the burden on domain experts to share knowledge. We
conclude this work by experimenting with building NLP models using the Ziva
output by our case study.
- Abstract（参考訳）: データサイエンティストは、機械学習(ML)モデルを構築したい新しいドメインを理解するために、急な学習曲線に直面します。
ドメインの専門家からのインプットは役に立つが、そのようなインプットは制限され、高価であり、一般的にモデル開発パイプラインで簡単に消費できる形式ではない。
本稿では、NLPモデルを構築するために、ドメインエキスパートがデータサイエンティストと重要なドメイン知識を共有するためのフレームワークであるZivaを提案する。
Zivaでは、専門家がドメイン概念抽出器と5種類のラベル正当性を代表データサンプル上で蒸留し、共有することができる。
Zivaの設計は、ML開発プロジェクトにおけるドメイン知識獲得プロセスの現在の実践を理解するために、データサイエンティストの予備インタビューによって通知される。
設計を評価するために、mix-methodのケーススタディを実施して、zivaがドメインの専門家とデータサイエンティストのインタラクションをいかに促進できるかを評価します。
以上の結果から,(1) ドメインの専門家は,心的負荷とストレスレベルを低く保ちながら,豊かなドメイン知識を提供するために,(2) ドメインの専門家は,ドメインに関する重要な情報を学習し,情報のスケーラビリティを提供し,知識を共有するためのドメイン専門家の負担を軽減するために,Zivaの成果を見出すことができた。
本研究は, ケーススタディによるZiva出力を用いたNLPモデルの構築実験により結論付けられた。
関連論文リスト
- KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。
本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。
提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
論文 参考訳（メタデータ） (2024-11-22T08:21:03Z) - Are Expert-Level Language Models Expert-Level Annotators? [17.06186816803593]
本研究では,データアノテータとしてのLSMが専門知識を必要とする領域でどの程度機能するかを検討する。
我々の知る限り、我々はLSMを専門家レベルのデータアノテータとして初めて体系的に評価した。
論文 参考訳（メタデータ） (2024-10-04T09:17:09Z) - Knowledge AI: Fine-tuning NLP Models for Facilitating Scientific Knowledge Extraction and Understanding [0.0]
本研究は,Large Language Models (LLMs) の,特定の領域における科学的知識の理解と抽出における有効性について検討する。
トレーニング済みのモデルを採用し、科学領域のデータセットを微調整します。
論文 参考訳（メタデータ） (2024-08-04T01:32:09Z) - Query of CC: Unearthing Large Scale Domain-Specific Knowledge from
Public Corpora [104.16648246740543]
大規模言語モデルに基づく効率的なデータ収集手法を提案する。
この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。
特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
論文 参考訳（メタデータ） (2024-01-26T03:38:23Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳（メタデータ） (2023-11-17T16:09:10Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳（メタデータ） (2023-11-16T07:09:38Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳（メタデータ） (2023-10-11T08:22:37Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳（メタデータ） (2023-05-02T17:33:28Z) - Knowledge Graph Anchored Information-Extraction for Domain-Specific
Insights [1.6308268213252761]
新しいドメイン内で特定の情報ニーズを満たすためにタスクベースのアプローチを使用します。
美術NLP技術の状態を構成したパイプラインを使用して、インスタンスレベルのセマンティック構造を自動的に抽出する。
論文 参考訳（メタデータ） (2021-04-18T19:28:10Z) - Task Programming: Learning Data Efficient Behavior Representations [44.244695150594815]
本稿では,行動分析のためのアノテーションサンプルの効率的な軌道埋め込み法であるTREBAについて述べる。
私たちのメソッドのタスクは、"タスクプログラミング"と呼ばれるプロセスを通じて、ドメインの専門家によって効率的に設計できます。
本研究は,マウスとショウジョウバエの2つの領域にまたがる3つのデータセットを用いて実験を行った。
論文 参考訳（メタデータ） (2020-11-27T18:58:32Z) - Do ML Experts Discuss Explainability for AI Systems? A discussion case
in the industry for a domain-specific solution [3.190891983147147]
ドメインスペシャリストは、データとそれが意思決定に与える影響を理解する。
データに対する深い理解がなければ、MLの専門家は、特定のドメインに対して最適な結果を得るためにモデルをチューニングすることはできない。
さまざまなコンテキスト、ユーザ、目標に対するAI説明可能性の研究には、多くの取り組みがあります。
論文 参考訳（メタデータ） (2020-02-27T21:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。