論文の概要: Thinking Like an Annotator: Generation of Dataset Labeling Instructions

• arxiv url: http://arxiv.org/abs/2306.14035v1
• Date: Sat, 24 Jun 2023 18:32:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 17:31:00.819252
• Title: Thinking Like an Annotator: Generation of Dataset Labeling Instructions
• Title（参考訳）: アノテータのように考える:データセットラベリング命令の生成
• Authors: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan
• Abstract要約: 本稿では、公開されていないラベリング命令に対処するため、新しいタスクであるラベリング命令生成を導入する。 1)データセット内のカテゴリ毎に視覚的に代表されるサンプルのセットを生成し,2)サンプルに対応するテキストラベルを提供する。 このフレームワークは人間のアノテーションのプロキシとして機能し、最終的なラベル付け命令セットを生成し、その品質を評価するのに役立つ。
• 参考スコア（独自算出の注目度）: 59.603239753484345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.
• Abstract（参考訳）: 現代のディープラーニングには、大規模なデータセットが不可欠です。 これらのメソッドを理解するには、データセットの透明性(例えば、データセットのキュレーション、モチベーション、コンポジション、コレクションプロセスなど)が必要だ、と主張している。 しかしながら、アノテータが提供する詳細な定義とビジュアルカテゴリの例 - 各データセットに存在するアノテーションの構造を理解するのに不可欠な情報 - のリリースを示唆する人はほとんどいません。 これらのラベルはパブリックデータセットの中心にあるが、それらを生成するのに使われた命令を含むデータはほとんどない。 我々は,公開されたラベル命令の欠落に対処するための新しいタスクであるラベル命令生成を導入する。 ラベル付け命令生成では、合理的な注釈付きデータセットと: 1) データセットの各カテゴリを視覚的に代表する一連の例を生成する。 2) それぞれの例に対応するテキストラベルを提供する。 我々は,この課題を解決するためにモデルトレーニングを必要としないフレームワークを導入し,大規模で事前学習された視覚と言語モデルを活用した,新しい高速検索システムを備える。 このフレームワークは、最後のラベリング命令セットを生成し、その品質を評価するのに役立つヒューマンアノテータのプロキシとして機能する。 我々のフレームワークは、データセットカテゴリの様々な視覚的およびテキスト表現を生成する。 最適化された命令セットは、NuImageの7.06mAP、COCOの12.9mAPで、最強のベースラインを5倍に上回ります。

関連論文リスト

• Scribbles for All: Benchmarking Scribble Supervised Segmentation Across Datasets [51.74296438621836]
  Scribbles for Allは、スクリブルラベルに基づいて訓練されたセマンティックセグメンテーションのためのラベルおよびトレーニングデータ生成アルゴリズムである。 弱い監督の源泉としてのスクリブルの主な制限は、スクリブルセグメンテーションのための挑戦的なデータセットの欠如である。 Scribbles for Allは、いくつかの人気のあるセグメンテーションデータセットのスクリブルラベルを提供し、密集したアノテーションを持つデータセットのスクリブルラベルを自動的に生成するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2024-08-22T15:29:08Z)
• GenQA: Generating Millions of Instructions from a Handful of Prompts [67.54980063851605]
  ほとんどの公開命令微調整データセットは、業界モデルをトレーニングするために使用されるクローズドソースデータセットと比較して比較的小さい。 本研究では,1つのプロンプトから大規模命令データセットを生成する手法について検討する。 我々のデータセットは、知識集約型リーダーボードタスクと会話評価の両方で、WizardLMとUltrachatの両方に遭遇または超過します。
  論文  参考訳（メタデータ） (2024-06-14T17:44:08Z)
• tasksource: A Dataset Harmonization Framework for Streamlined NLP Multi-Task Learning and Evaluation [2.869669835645836]
  500以上の英語タスクのためのデータセットアノテーションフレームワークとデータセットアノテーションをリリースします。 これらのアノテーションには、すべてのデータセットのインプットやラベルとして使用される列の名前などのメタデータが含まれている。 タスクソースのタスクに対してマルチタスクのテキストエンコーダを微調整し、外部評価において同等の大きさの公開テキストエンコーダよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-01-14T16:38:04Z)
• Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention [7.237370981736913]
  本稿では,既存の畳み込みニューラルネットワークを用いて,フィルタレベルでの潜在表現に関するテキスト記述を生成するフレームワークを提案する。 本手法は,学習データセットに定義されたカテゴリの組を超えて,学習したフィルタの新たな記述を生成することができることを示す。 また、教師なしデータセットバイアス分析のための新しい手法の応用を実証する。
  論文  参考訳（メタデータ） (2022-04-10T04:57:56Z)
• The Weak Supervision Landscape [5.186945902380689]
  弱い監督設定を分類する枠組みを提案する。 我々は、弱い監督を特徴付ける重要な要素を特定し、既存のアプローチのほとんどを分類する一連の次元を考案する。 文献における一般的な設定がフレームワークにどのように適合するかを示し、実際に使用可能な使用法について議論する。
  論文  参考訳（メタデータ） (2022-03-30T13:19:43Z)
• Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
  テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。 具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。 実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
  論文  参考訳（メタデータ） (2021-02-23T04:14:34Z)
• DART: A Lightweight Quality-Suggestive Data-to-Text Annotation Tool [15.268017930901332]
  Data AnnotatoR Tool (DART)は、大量の構造化データに注釈を付ける作業を減らすインタラクティブなアプリケーションである。 シーケンス・ツー・シーケンス・モデルを用いて,アノテートされたラベルを反復的に解析し,ラベルのないデータをよりよくサンプリングする。 大量の構造化データに注釈を付けるシミュレーション実験において、DARTはアクティブラーニングに必要なアノテーションの総数を減らし、関連するラベルを自動的に提案することを示した。
  論文  参考訳（メタデータ） (2020-10-08T17:36:34Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)
• Cross-dataset Training for Class Increasing Object Detection [52.34737978720484]
  オブジェクト検出におけるクロスデータセットトレーニングのための,概念的にシンプルで柔軟で汎用的なフレームワークを提案する。 データセット間のトレーニングによって、既存のデータセットを使用して、単一のモデルで統合されたオブジェクトクラスを検出することができる。 クロスデータセットトレーニングを使用している間、新しいデータセットに新しいクラスをラベル付けするだけです。
  論文  参考訳（メタデータ） (2020-01-14T04:40:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。