論文の概要: SEAL : Interactive Tool for Systematic Error Analysis and Labeling

• arxiv url: http://arxiv.org/abs/2210.05839v1
• Date: Tue, 11 Oct 2022 23:51:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 15:03:53.055237
• Title: SEAL : Interactive Tool for Systematic Error Analysis and Labeling
• Title（参考訳）: SEAL : システムエラー解析とラベリングのためのインタラクティブツール
• Authors: Nazneen Rajani, Weixin Liang, Lingjiao Chen, Meg Mitchell, James Zou
• Abstract要約: 本稿では,インタラクティブなシステムエラー解析とラベル付け(シール)ツールを提案する。 2段階のアプローチで、まずデータの高いエラースライスを識別し、2段階目では、人間が理解できないセマンティクスを、不適切なスライスに与える方法を紹介します。 本稿では,言語モデルを用いたセマンティックラベリングと視覚特徴生成のためのテキスト・ツー・イメージモデルを用いて,エラーグループに対するコヒーレントなセマンティクスを考案する手法について検討する。
• 参考スコア（独自算出の注目度）: 26.803598323167382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the advent of Transformers, large language models (LLMs) have saturated well-known NLP benchmarks and leaderboards with high aggregate performance. However, many times these models systematically fail on tail data or rare groups not obvious in aggregate evaluation. Identifying such problematic data groups is even more challenging when there are no explicit labels (e.g., ethnicity, gender, etc.) and further compounded for NLP datasets due to the lack of visual features to characterize failure modes (e.g., Asian males, animals indoors, waterbirds on land, etc.). This paper introduces an interactive Systematic Error Analysis and Labeling (\seal) tool that uses a two-step approach to first identify high error slices of data and then, in the second step, introduce methods to give human-understandable semantics to those underperforming slices. We explore a variety of methods for coming up with coherent semantics for the error groups using language models for semantic labeling and a text-to-image model for generating visual features. SEAL toolkit and demo screencast is available at https://huggingface.co/spaces/nazneen/seal.
• Abstract（参考訳）: Transformerの登場により、大きな言語モデル(LLM)は、よく知られたNLPベンチマークと、高い集約性能を持つリーダーボードを飽和させた。 しかしながら,これらのモデルが尾部データや稀少群で系統的に失敗する場合が多く,総合評価では明らかではない。 このような問題のあるデータグループを特定することは、明示的なラベル(民族性、性別など)がないことや、失敗モードを特徴づける視覚的特徴の欠如(アジア人の男性、屋内の動物、陸上の水鳥など)により、NLPデータセットが複雑になる場合、さらに難しい。 本稿では,2段階のアプローチを用いて,まず高い誤りのスライスを識別し,次に2段階目において,不適切なスライスに対して人間に理解可能なセマンティクスを与える手法を導入する,対話型系統的エラー解析・ラベル付けツールを提案する。 本稿では,言語モデルを用いたセマンティックラベリングと視覚特徴生成のためのテキスト・ツー・イメージモデルを用いて,エラーグループに対するコヒーレントなセマンティクスを考案する手法について検討する。 seal toolkitとdemo screencastはhttps://huggingface.co/spaces/nazneen/sealで利用可能である。

関連論文リスト

• AttributionScanner: A Visual Analytics System for Model Validation with Metadata-Free Slice Finding [29.07617945233152]
  データスライス検索は、低パフォーマンスを示すデータセット内のサブグループを特定し解析することで、機械学習(ML)モデルを検証するための新興技術である。 このアプローチは、追加メタデータに対する退屈でコストのかかる要件を含む、重大な課題に直面します。 本稿では,メタデータを含まないデータスライス検索用に設計された,革新的なビジュアルアナリティクス(VA)システムであるAttributionScannerを紹介する。 本システムでは、一般的なモデル動作を含む解釈可能なデータスライスを特定し、属性モザイク設計によりこれらのパターンを可視化する。
  論文  参考訳（メタデータ） (2024-01-12T09:17:32Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• Adaptive Testing of Computer Vision Models [22.213542525825144]
  AdaVisionは、ユーザがコヒーレントな障害モードを特定し、修正するのに役立つビジョンモデルをテストするインタラクティブなプロセスである。 我々は,AdaVisionのユーザスタディにおいて,最先端の分類,オブジェクト検出,画像キャプションモデルに重大なバグが見つかった場合の有用性と汎用性を実証する。
  論文  参考訳（メタデータ） (2022-12-06T05:52:31Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Finding Dataset Shortcuts with Grammar Induction [85.47127659108637]
  我々は,NLPデータセットのショートカットの特徴付けと発見に確率文法を用いることを提案する。 具体的には、文脈自由文法を用いて文分類データセットのパターンをモデル化し、同期文脈自由文法を用いて文ペアを含むデータセットをモデル化する。 その結果得られた文法は、単純かつ高レベルの機能を含む、多くのデータセットで興味深いショートカット機能を示す。
  論文  参考訳（メタデータ） (2022-10-20T19:54:11Z)
• Active Learning by Feature Mixing [52.16150629234465]
  本稿では,ALFA-Mixと呼ばれるバッチ能動学習手法を提案する。 予測の不整合を求めることにより,不整合な特徴を持つインスタンスを同定する。 これらの予測の不整合は、モデルが未認識のインスタンスで認識できない特徴を発見するのに役立ちます。
  論文  参考訳（メタデータ） (2022-03-14T12:20:54Z)
• Causal Scene BERT: Improving object detection by searching for challenging groups of data [125.40669814080047]
  コンピュータビジョンアプリケーションは、物体検出のようなタスクのためにニューラルネットワークでパラメータ化された学習ベースの知覚モジュールに依存している。 これらのモジュールは、トレーニングプロセスに固有のバイアスのため、予想される誤差が低いが、データの非定型的なグループに対して高い誤差を持つことが多い。 本研究の主な貢献は,シミュレートされたシーンに対して因果的介入を行うことにより,前向きにそのようなグループを発見する擬似オートマチック手法である。
  論文  参考訳（メタデータ） (2022-02-08T05:14:16Z)
• ZeroBERTo -- Leveraging Zero-Shot Text Classification by Topic Modeling [57.80052276304937]
  本稿では、教師なしクラスタリングのステップを利用して、分類タスクの前に圧縮されたデータ表現を得る新しいモデルZeroBERToを提案する。 また,ZeroBERToは,FolhaUOLデータセットのF1スコアにおいて,XLM-Rを約12%上回り,長い入力と実行時間の短縮に優れた性能を示した。
  論文  参考訳（メタデータ） (2022-01-04T20:08:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。