論文の概要: Facilitating Knowledge Sharing from Domain Experts to Data Scientists
for Building NLP Models
- arxiv url: http://arxiv.org/abs/2102.00036v1
- Date: Fri, 29 Jan 2021 19:37:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-05 00:25:15.610399
- Title: Facilitating Knowledge Sharing from Domain Experts to Data Scientists
for Building NLP Models
- Title(参考訳): ドメインエキスパートからデータサイエンティストへの知識共有によるNLPモデルの構築
- Authors: Soya Park, April Wang, Ban Kawas, Q. Vera Liao, David Piorkowski,
Marina Danilevsky
- Abstract要約: Zivaは、NLPモデルを構築するために必須のドメイン知識をデータサイエンティストと共有するドメインエキスパートを導くフレームワークです。
Zivaがドメイン専門家とデータサイエンティストの相互作用を容易にする方法を評価するため、ミックスメソッドケーススタディを実施します。
- 参考スコア(独自算出の注目度): 12.719349039333007
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data scientists face a steep learning curve in understanding a new domain for
which they want to build machine learning (ML) models. While input from domain
experts could offer valuable help, such input is often limited, expensive, and
generally not in a form readily consumable by a model development pipeline. In
this paper, we propose Ziva, a framework to guide domain experts in sharing
essential domain knowledge to data scientists for building NLP models. With
Ziva, experts are able to distill and share their domain knowledge using domain
concept extractors and five types of label justification over a representative
data sample. The design of Ziva is informed by preliminary interviews with data
scientists, in order to understand current practices of domain knowledge
acquisition process for ML development projects. To assess our design, we run a
mix-method case-study to evaluate how Ziva can facilitate interaction of domain
experts and data scientists. Our results highlight that (1) domain experts are
able to use Ziva to provide rich domain knowledge, while maintaining low mental
load and stress levels; and (2) data scientists find Ziva's output helpful for
learning essential information about the domain, offering scalability of
information, and lowering the burden on domain experts to share knowledge. We
conclude this work by experimenting with building NLP models using the Ziva
output by our case study.
- Abstract(参考訳): データサイエンティストは、機械学習(ML)モデルを構築したい新しいドメインを理解するために、急な学習曲線に直面します。
ドメインの専門家からのインプットは役に立つが、そのようなインプットは制限され、高価であり、一般的にモデル開発パイプラインで簡単に消費できる形式ではない。
本稿では、NLPモデルを構築するために、ドメインエキスパートがデータサイエンティストと重要なドメイン知識を共有するためのフレームワークであるZivaを提案する。
Zivaでは、専門家がドメイン概念抽出器と5種類のラベル正当性を代表データサンプル上で蒸留し、共有することができる。
Zivaの設計は、ML開発プロジェクトにおけるドメイン知識獲得プロセスの現在の実践を理解するために、データサイエンティストの予備インタビューによって通知される。
設計を評価するために、mix-methodのケーススタディを実施して、zivaがドメインの専門家とデータサイエンティストのインタラクションをいかに促進できるかを評価します。
以上の結果から,(1) ドメインの専門家は,心的負荷とストレスレベルを低く保ちながら,豊かなドメイン知識を提供するために,(2) ドメインの専門家は,ドメインに関する重要な情報を学習し,情報のスケーラビリティを提供し,知識を共有するためのドメイン専門家の負担を軽減するために,Zivaの成果を見出すことができた。
本研究は, ケーススタディによるZiva出力を用いたNLPモデルの構築実験により結論付けられた。
関連論文リスト
- Enhancing Court View Generation with Knowledge Injection and Guidance [43.32071790286732]
裁判所ビュー生成(CVG)は、原告の主張と事実記述に基づいて裁判所ビューを生成することを目的としている。
PLMは自然言語生成の進歩を誇示しているが、CVGの複雑で知識集約的な領域への応用は、しばしば固有の制限を明らかにしている。
PLMを用いてCVGを活性化させる新しい手法であるKnowledge Injection and Guidance(KIG)を提案する。
訓練段階において,ドメイン知識を効率的に組み込むため,即時チューニングのための知識注入プロンプトエンコーダを導入し,計算オーバーヘッドを低減した。
論文 参考訳(メタデータ) (2024-03-07T09:51:11Z) - Query of CC: Unearthing Large Scale Domain-Specific Knowledge from
Public Corpora [104.16648246740543]
大規模言語モデルに基づく効率的なデータ収集手法を提案する。
この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。
特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
論文 参考訳(メタデータ) (2024-01-26T03:38:23Z) - A Self-enhancement Approach for Domain-specific Chatbot Training via
Knowledge Mining and Digest [62.63606958140248]
大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。
本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。
我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
論文 参考訳(メタデータ) (2023-11-17T16:09:10Z) - Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations [50.81844184210381]
本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
論文 参考訳(メタデータ) (2023-11-16T07:09:38Z) - Beyond Factuality: A Comprehensive Evaluation of Large Language Models
as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。
しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。
本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文 参考訳(メタデータ) (2023-10-11T08:22:37Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities
and Future Opportunities [68.86209486449924]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳(メタデータ) (2023-05-22T15:56:44Z) - UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language
Models [100.4659557650775]
構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。
どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
論文 参考訳(メタデータ) (2023-05-02T17:33:28Z) - FAIR principles for AI models, with a practical application for
accelerated high energy diffraction microscopy [1.9270896986812693]
我々は、統合された計算フレームワーク内でFAIRデータとAIモデルを作成し、共有する方法を紹介します。
ドメインに依存しないこの計算フレームワークが、自律的なAI駆動の発見を可能にする方法について説明する。
論文 参考訳(メタデータ) (2022-07-01T18:11:12Z) - Knowledge Graph Anchored Information-Extraction for Domain-Specific
Insights [1.6308268213252761]
新しいドメイン内で特定の情報ニーズを満たすためにタスクベースのアプローチを使用します。
美術NLP技術の状態を構成したパイプラインを使用して、インスタンスレベルのセマンティック構造を自動的に抽出する。
論文 参考訳(メタデータ) (2021-04-18T19:28:10Z) - Task Programming: Learning Data Efficient Behavior Representations [44.244695150594815]
本稿では,行動分析のためのアノテーションサンプルの効率的な軌道埋め込み法であるTREBAについて述べる。
私たちのメソッドのタスクは、"タスクプログラミング"と呼ばれるプロセスを通じて、ドメインの専門家によって効率的に設計できます。
本研究は,マウスとショウジョウバエの2つの領域にまたがる3つのデータセットを用いて実験を行った。
論文 参考訳(メタデータ) (2020-11-27T18:58:32Z) - Do ML Experts Discuss Explainability for AI Systems? A discussion case
in the industry for a domain-specific solution [3.190891983147147]
ドメインスペシャリストは、データとそれが意思決定に与える影響を理解する。
データに対する深い理解がなければ、MLの専門家は、特定のドメインに対して最適な結果を得るためにモデルをチューニングすることはできない。
さまざまなコンテキスト、ユーザ、目標に対するAI説明可能性の研究には、多くの取り組みがあります。
論文 参考訳(メタデータ) (2020-02-27T21:23:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。