論文の概要: ShortcutLens: A Visual Analytics Approach for Exploring Shortcuts in
Natural Language Understanding Dataset
- arxiv url: http://arxiv.org/abs/2208.08010v1
- Date: Wed, 17 Aug 2022 01:24:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 12:27:27.006293
- Title: ShortcutLens: A Visual Analytics Approach for Exploring Shortcuts in
Natural Language Understanding Dataset
- Title(参考訳): shortcutlens:自然言語理解データセットのショートカットを探索するビジュアル分析アプローチ
- Authors: Zhihua Jin, Xingbo Wang, Furui Cheng, Chunhui Sun, Qun Liu, Huamin Qu
- Abstract要約: ShortcutLensは、NLUの専門家がベンチマークデータセットでショートカットを探索するのに役立つビジュアル分析システムである。
統計ビューは、ユーザーがベンチマークデータセットでショートカットのカバレッジや生産性などの統計を把握できるようにする。
システムの有効性とユーザビリティを評価するために,ケーススタディと専門家インタビューを実施している。
- 参考スコア(独自算出の注目度): 42.7808341077646
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmark datasets play an important role in evaluating Natural Language
Understanding (NLU) models. However, shortcuts -- unwanted biases in the
benchmark datasets -- can damage the effectiveness of benchmark datasets in
revealing models' real capabilities. Since shortcuts vary in coverage,
productivity, and semantic meaning, it is challenging for NLU experts to
systematically understand and avoid them when creating benchmark datasets. In
this paper, we develop a visual analytics system, ShortcutLens, to help NLU
experts explore shortcuts in NLU benchmark datasets. The system allows users to
conduct multi-level exploration of shortcuts. Specifically, Statistics View
helps users grasp the statistics such as coverage and productivity of shortcuts
in the benchmark dataset. Template View employs hierarchical and interpretable
templates to summarize different types of shortcuts. Instance View allows users
to check the corresponding instances covered by the shortcuts. We conduct case
studies and expert interviews to evaluate the effectiveness and usability of
the system. The results demonstrate that ShortcutLens supports users in gaining
a better understanding of benchmark dataset issues through shortcuts, inspiring
them to create challenging and pertinent benchmark datasets.
- Abstract(参考訳): ベンチマークデータセットは自然言語理解(NLU)モデルを評価する上で重要な役割を果たす。
しかし、ショートカット -- ベンチマークデータセットの望ましくないバイアス -- は、モデルの実機能を明らかにする際のベンチマークデータセットの有効性を損なう可能性がある。
ショートカットはカバレッジ、生産性、意味において異なるため、NLUの専門家がベンチマークデータセットを作成する際に、それらを体系的に理解し回避することは困難である。
本論文では,NLUベンチマークデータセットにおけるショートカットの探索を支援する視覚分析システムであるShortcutLensを開発する。
このシステムはショートカットのマルチレベル探索を可能にする。
具体的には、statistics viewは、ベンチマークデータセットのショートカットのカバレッジや生産性といった統計情報を把握するのに役立ちます。
テンプレートビューは階層的かつ解釈可能なテンプレートを使用して、さまざまなタイプのショートカットを要約する。
インスタンスビューは、ショートカットでカバーされた対応するインスタンスをチェックすることができる。
システムの有効性とユーザビリティを評価するために,ケーススタディとエキスパートインタビューを実施します。
その結果、ShortcutLensはユーザに対して、ショートカットを通じてベンチマークデータセットの問題をよりよく理解することを支援し、困難で関連するベンチマークデータセットを作成するように促している。
関連論文リスト
- Invariant Test-Time Adaptation for Vision-Language Model Generalization [90.70743356588996]
学習可能なプロンプトを最適化するテスト時間プロンプトチューニングのパラダイムを導入し,真の因果不変性を活用できるようにモデルを説得する。
提案手法は,潜在的に誤解を招く可能性のあるタスク関連文脈情報への過度な依存を効果的に軽減する。
論文 参考訳(メタデータ) (2024-03-01T09:01:53Z) - INTERS: Unlocking the Power of Large Language Models in Search with
Instruction Tuning [59.07490387145391]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて印象的な機能を示している。
情報検索(IR)タスクへのそれらの適用は、自然言語における多くのIR固有の概念の頻繁な発生のため、いまだに困難である。
我々は,3つの基本IRカテゴリにまたがる20のタスクを含む新しいインストラクションチューニングデータセット InterS を導入する。
論文 参考訳(メタデータ) (2024-01-12T12:10:28Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳(メタデータ) (2023-10-19T02:12:17Z) - VLSlice: Interactive Vision-and-Language Slice Discovery [17.8634551024147]
VLSliceは、一貫した視覚言語行動を伴うコヒーレントな表現レベルサブグループの発見を可能にする対話型システムである。
VLSliceは,ユーザの学習において多種多様な高一貫性スライスを迅速に生成し,ツールを一般公開することを可能にする。
論文 参考訳(メタデータ) (2023-09-13T04:02:38Z) - Large Language Models Can be Lazy Learners: Analyze Shortcuts in
In-Context Learning [28.162661418161466]
大規模言語モデル(LLM)は、最近、コンテキスト内学習に大きな可能性を示している。
本稿では,ショートカットやプロンプト内のスプリアス相関に対するLDMsの依存度について検討する。
より大規模なモデルでは、推論中にプロンプトでショートカットを利用する可能性が高くなるという驚くべき発見が明らかになった。
論文 参考訳(メタデータ) (2023-05-26T20:56:30Z) - Localized Shortcut Removal [4.511561231517167]
保持されたテストデータのハイパフォーマンスは、モデルを一般化したり、意味のあるものを学ぶことを必ずしも示さない。
これはしばしば、機械学習のショートカットの存在が原因である。
我々は、逆向きに訓練されたレンズを用いて、画像中の非常に予測的だが意味的に無関係な手がかりを検出し、排除する。
論文 参考訳(メタデータ) (2022-11-24T13:05:33Z) - Finding Dataset Shortcuts with Grammar Induction [85.47127659108637]
我々は,NLPデータセットのショートカットの特徴付けと発見に確率文法を用いることを提案する。
具体的には、文脈自由文法を用いて文分類データセットのパターンをモデル化し、同期文脈自由文法を用いて文ペアを含むデータセットをモデル化する。
その結果得られた文法は、単純かつ高レベルの機能を含む、多くのデータセットで興味深いショートカット機能を示す。
論文 参考訳(メタデータ) (2022-10-20T19:54:11Z) - Adversarial Scrubbing of Demographic Information for Text Classification [29.676274451459896]
本稿では,文脈表現を曖昧にするために,逆学習フレームワーク "Adversarial Scrubber" (ADS) を提案する。
我々は,特定の条件下での人口統計情報を漏らさずに,我々の枠組みが収束していることを示す。
論文 参考訳(メタデータ) (2021-09-17T15:38:43Z) - Why Machine Reading Comprehension Models Learn Shortcuts? [56.629192589376046]
トレーニングデータにおけるショートカットの質問の大部分が、モデルが過度にショートカットのトリックに依存している、と私たちは主張する。
徹底的な実証分析により、MRCモデルは挑戦的な質問よりも早くショートカットの質問を学習する傾向が示されている。
論文 参考訳(メタデータ) (2021-06-02T08:43:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。