論文の概要: DeepLens: Interactive Out-of-distribution Data Detection in NLP Models
- arxiv url: http://arxiv.org/abs/2303.01577v1
- Date: Thu, 2 Mar 2023 21:09:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-06 16:56:10.969911
- Title: DeepLens: Interactive Out-of-distribution Data Detection in NLP Models
- Title(参考訳): deeplens: nlpモデルにおけるインタラクティブな分散データ検出
- Authors: Da Song, Zhijie Wang, Yuheng Huang, Lei Ma, Tianyi Zhang
- Abstract要約: DeepLensは、ユーザーが大量のテキストコーパスでOODの問題を検知し、探索するのに役立つインタラクティブシステムである。
ユーザはテキストクラスタリングの助けを借りて、DeepLensのさまざまなOODタイプを効率的に探索できる。
被験者24名を対象にした調査では、DeepLensを使用する被験者はOODの問題を正確に2倍近い種類の問題を見つけることができた。
- 参考スコア(独自算出の注目度): 10.110976560799612
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) has been widely used in Natural Language Processing
(NLP) applications. A fundamental assumption in ML is that training data and
real-world data should follow a similar distribution. However, a deployed ML
model may suffer from out-of-distribution (OOD) issues due to distribution
shifts in the real-world data. Though many algorithms have been proposed to
detect OOD data from text corpora, there is still a lack of interactive tool
support for ML developers. In this work, we propose DeepLens, an interactive
system that helps users detect and explore OOD issues in massive text corpora.
Users can efficiently explore different OOD types in DeepLens with the help of
a text clustering method. Users can also dig into a specific text by inspecting
salient words highlighted through neuron activation analysis. In a
within-subjects user study with 24 participants, participants using DeepLens
were able to find nearly twice more types of OOD issues accurately with 22%
more confidence compared with a variant of DeepLens that has no interaction or
visualization support.
- Abstract(参考訳): 機械学習(ML)は自然言語処理(NLP)アプリケーションで広く使われている。
MLの基本的な前提は、トレーニングデータと実世界のデータは、同様の分布に従うべきであるということだ。
しかしながら、デプロイされたmlモデルは、実世界のデータの分散シフトによって、分散(ood)の問題に苦しむ可能性がある。
テキストコーパスからOODデータを検出するアルゴリズムは多数提案されているが、ML開発者にはまだインタラクティブなツールサポートがない。
本研究では,大規模テキストコーパスにおけるOOD問題の検出と探索を支援する対話型システムであるDeepLensを提案する。
ユーザはテキストクラスタリングの助けを借りて、DeepLensのさまざまなOODタイプを効率的に探索できる。
ユーザは、ニューロンの活性化分析によって強調された敬語を検査することで、特定のテキストを掘り下げることもできる。
参加者24名を対象にした調査では、DeepLensを使用する参加者は、インタラクションや視覚化のサポートを持たないDeepLensの亜種に比べて、正確に22%のOOD問題を見つけられた。
関連論文リスト
- Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
本稿では,長い尾を持つOOD検出の課題に対処する。
主な困難は、尾クラスに属するサンプルとOODデータを区別することである。
本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
論文 参考訳(メタデータ) (2023-12-14T13:47:13Z) - Measuring Distributional Shifts in Text: The Advantage of Language
Model-Based Embeddings [11.393822909537796]
実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。
大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。
このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-04T20:46:48Z) - LM-Polygraph: Uncertainty Estimation for Language Models [71.21409522341482]
不確実性推定(UE)手法は、大規模言語モデル(LLM)の安全性、責任性、効果的な利用のための1つの経路である。
テキスト生成タスクにおけるLLMの最先端UEメソッドのバッテリを実装したフレームワークであるLM-PolygraphをPythonで統一したプログラムインタフェースで導入する。
研究者によるUEテクニックの一貫した評価のための拡張可能なベンチマークと、信頼スコア付き標準チャットダイアログを強化するデモWebアプリケーションを導入している。
論文 参考訳(メタデータ) (2023-11-13T15:08:59Z) - LLMDet: A Third Party Large Language Models Generated Text Detection
Tool [119.0952092533317]
大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。
既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。
本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
論文 参考訳(メタデータ) (2023-05-24T10:45:16Z) - Lifelong Learning Natural Language Processing Approach for Multilingual
Data Classification [1.3999481573773074]
複数の言語で偽ニュースを検知できる生涯学習型アプローチを提案する。
解析された言語間で得られた知識を一般化するモデルの能力も観察された。
論文 参考訳(メタデータ) (2022-05-25T10:34:04Z) - Improving Classifier Training Efficiency for Automatic Cyberbullying
Detection with Feature Density [58.64907136562178]
言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。
データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。
データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
論文 参考訳(メタデータ) (2021-11-02T15:48:28Z) - DSSL: Deep Surroundings-person Separation Learning for Text-based Person
Retrieval [40.70100506088116]
本稿では,Deep Surroundings-person Separation Learning(DSSL)モデルを提案する。
周囲の分離・融合機構は、正確かつ効果的な周囲の分離を実現する上で重要な役割を担っている。
CUHK-PEDES上で提案したDSSLの評価実験を行った。
論文 参考訳(メタデータ) (2021-09-12T15:09:09Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳(メタデータ) (2021-09-09T12:32:28Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。