論文の概要: DeepLens: Interactive Out-of-distribution Data Detection in NLP Models

• arxiv url: http://arxiv.org/abs/2303.01577v1
• Date: Thu, 2 Mar 2023 21:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-06 16:56:10.969911
• Title: DeepLens: Interactive Out-of-distribution Data Detection in NLP Models
• Title（参考訳）: deeplens: nlpモデルにおけるインタラクティブな分散データ検出
• Authors: Da Song, Zhijie Wang, Yuheng Huang, Lei Ma, Tianyi Zhang
• Abstract要約: DeepLensは、ユーザーが大量のテキストコーパスでOODの問題を検知し、探索するのに役立つインタラクティブシステムである。 ユーザはテキストクラスタリングの助けを借りて、DeepLensのさまざまなOODタイプを効率的に探索できる。 被験者24名を対象にした調査では、DeepLensを使用する被験者はOODの問題を正確に2倍近い種類の問題を見つけることができた。
• 参考スコア（独自算出の注目度）: 10.110976560799612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) has been widely used in Natural Language Processing (NLP) applications. A fundamental assumption in ML is that training data and real-world data should follow a similar distribution. However, a deployed ML model may suffer from out-of-distribution (OOD) issues due to distribution shifts in the real-world data. Though many algorithms have been proposed to detect OOD data from text corpora, there is still a lack of interactive tool support for ML developers. In this work, we propose DeepLens, an interactive system that helps users detect and explore OOD issues in massive text corpora. Users can efficiently explore different OOD types in DeepLens with the help of a text clustering method. Users can also dig into a specific text by inspecting salient words highlighted through neuron activation analysis. In a within-subjects user study with 24 participants, participants using DeepLens were able to find nearly twice more types of OOD issues accurately with 22% more confidence compared with a variant of DeepLens that has no interaction or visualization support.
• Abstract（参考訳）: 機械学習(ML)は自然言語処理(NLP)アプリケーションで広く使われている。 MLの基本的な前提は、トレーニングデータと実世界のデータは、同様の分布に従うべきであるということだ。 しかしながら、デプロイされたmlモデルは、実世界のデータの分散シフトによって、分散(ood)の問題に苦しむ可能性がある。 テキストコーパスからOODデータを検出するアルゴリズムは多数提案されているが、ML開発者にはまだインタラクティブなツールサポートがない。 本研究では,大規模テキストコーパスにおけるOOD問題の検出と探索を支援する対話型システムであるDeepLensを提案する。 ユーザはテキストクラスタリングの助けを借りて、DeepLensのさまざまなOODタイプを効率的に探索できる。 ユーザは、ニューロンの活性化分析によって強調された敬語を検査することで、特定のテキストを掘り下げることもできる。 参加者24名を対象にした調査では、DeepLensを使用する参加者は、インタラクションや視覚化のサポートを持たないDeepLensの亜種に比べて、正確に22%のOOD問題を見つけられた。

関連論文リスト

• LLM-assisted Explicit and Implicit Multi-interest Learning Framework for Sequential Recommendation [50.98046887582194]
  本研究では,ユーザの興味を2つのレベル – 行動と意味論 – でモデル化する,明示的で暗黙的な多目的学習フレームワークを提案する。 提案するEIMFフレームワークは,小型モデルとLLMを効果的に組み合わせ,多目的モデリングの精度を向上させる。
  論文  参考訳（メタデータ） (2024-11-14T13:00:23Z)
• Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
  本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。 我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
  論文  参考訳（メタデータ） (2024-09-23T07:55:35Z)
• A Universal Prompting Strategy for Extracting Process Model Information from Natural Language Text using Large Language Models [0.8899670429041453]
  生成型大規模言語モデル(LLM)は,広範囲なデータを必要とすることなく,非常に高品質なNLPタスクを解くことができることを示す。 新たなプロンプト戦略に基づいて,LLMが最先端の機械学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-26T06:39:35Z)
• Envisioning Outlier Exposure by Large Language Models for Out-of-Distribution Detection [71.93411099797308]
  オープンワールドシナリオに機械学習モデルをデプロイする場合、アウト・オブ・ディストリビューション(OOD)サンプルは不可欠である。 本稿では,大規模言語モデル(LLM)の専門知識と推論能力を活用して,この制約に対処することを提案する。 EOEは、遠、近、きめ細かいOOD検出など、さまざまなタスクに一般化することができる。 EOEは様々なOODタスクで最先端のパフォーマンスを実現し、ImageNet-1Kデータセットに効果的にスケールできる。
  論文  参考訳（メタデータ） (2024-06-02T17:09:48Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• Deep Learning-Based Out-of-distribution Source Code Data Identification: How Far Have We Gone? [23.962076093344166]
  我々は,OODソースコードデータ識別問題に対処する革新的なディープラーニングベースのアプローチを提案する。 本手法は,革新的なクラスタコントラスト学習を用いて情報理論的な視点から導出する。 提案手法は,FPR,AUROC,AUPRでそれぞれ約15.27%,7.39%,4.93%の成績を示した。
  論文  参考訳（メタデータ） (2024-04-09T02:52:55Z)
• Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings [11.393822909537796]
  実運用における機械学習モデル監視の重要な部分は、入力と出力データのドリフトを測定することである。 大規模言語モデル(LLM)の最近の進歩は、意味的関係を捉える上での有効性を示している。 このような埋め込みを利用してテキストデータの分布変化を測定するクラスタリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-04T20:46:48Z)
• Lifelong Learning Natural Language Processing Approach for Multilingual Data Classification [1.3999481573773074]
  複数の言語で偽ニュースを検知できる生涯学習型アプローチを提案する。 解析された言語間で得られた知識を一般化するモデルの能力も観察された。
  論文  参考訳（メタデータ） (2022-05-25T10:34:04Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。