論文の概要: Harlequin: Color-driven Generation of Synthetic Data for Referring Expression Comprehension

• arxiv url: http://arxiv.org/abs/2411.14807v1
• Date: Fri, 22 Nov 2024 09:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 15:04:37.222188
• Title: Harlequin: Color-driven Generation of Synthetic Data for Referring Expression Comprehension
• Title（参考訳）: Harlequin: 表現理解の参照のための合成データの色駆動生成
• Authors: Luca Parolari, Elena Izzo, Lamberto Ballan,
• Abstract要約: Referring Expression(REC)は、自然言語表現によってシーン内の特定のオブジェクトを識別することを目的としており、視覚言語理解において重要なトピックである。 このタスクの最先端のメソッドは、一般的に高価で手動でラベル付けされたアノテーションを必要とするディープラーニングに基づいている。 テキストと視覚の両方を考慮したRECタスクのための人工データを生成する新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.164728134421114
• License:
• Abstract: Referring Expression Comprehension (REC) aims to identify a particular object in a scene by a natural language expression, and is an important topic in visual language understanding. State-of-the-art methods for this task are based on deep learning, which generally requires expensive and manually labeled annotations. Some works tackle the problem with limited-supervision learning or relying on Large Vision and Language Models. However, the development of techniques to synthesize labeled data is overlooked. In this paper, we propose a novel framework that generates artificial data for the REC task, taking into account both textual and visual modalities. At first, our pipeline processes existing data to create variations in the annotations. Then, it generates an image using altered annotations as guidance. The result of this pipeline is a new dataset, called Harlequin, made by more than 1M queries. This approach eliminates manual data collection and annotation, enabling scalability and facilitating arbitrary complexity. We pre-train three REC models on Harlequin, then fine-tuned and evaluated on human-annotated datasets. Our experiments show that the pre-training on artificial data is beneficial for performance.
• Abstract（参考訳）: Referring Expression Comprehension (REC)は、シーン内の特定のオブジェクトを自然言語で識別することを目的としており、視覚言語理解において重要なトピックである。 このタスクの最先端のメソッドは、一般的に高価で手動でラベル付けされたアノテーションを必要とするディープラーニングに基づいている。 限られたスーパービジョンの学習や、Large VisionとLanguage Modelsに依存している問題に対処する作業もある。 しかし、ラベル付きデータを合成する手法の開発は見過ごされている。 本稿では,テキストと視覚の両方を考慮し,RECタスクのための人工データを生成する新しいフレームワークを提案する。 最初、パイプラインは既存のデータを処理してアノテーションのバリエーションを作成します。 そして、変更したアノテーションをガイダンスとして画像を生成する。 このパイプラインの結果は、100万以上のクエリで構成された、Harlequinと呼ばれる新しいデータセットである。 このアプローチは手動のデータ収集とアノテーションを排除し、スケーラビリティを可能にし、任意の複雑さを容易にします。 我々は3つのRECモデルをHarlequin上で事前訓練し、その後、微調整を行い、人間の注釈付きデータセットで評価する。 実験の結果, 人工データによる事前学習は, 性能に有益であることが示唆された。

関連論文リスト

• Text3DAug -- Prompted Instance Augmentation for LiDAR Perception [1.1633929083694388]
  都市シナリオのLiDARデータは、異種特性や固有のクラス不均衡など、ユニークな課題を提起する。 生成モデルを利用した新しいアプローチであるText3DAugを提案する。 Text3DAugはラベル付きデータに依存しておらず、テキストからインスタンスやアノテーションを生成する最初のタイプである。
  論文  参考訳（メタデータ） (2024-08-26T13:16:03Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Entity Aware Syntax Tree Based Data Augmentation for Natural Language Understanding [5.02493891738617]
  本研究では,木構造,エンティティ・アウェア・シンタクス・ツリー (EAST) を応用した新しいNLPデータ拡張手法を提案する。 我々のEADA技術は、少量の注釈付きデータからEASTを自動的に構築し、インテント検出とスロットフィリングのための多数のトレーニングインスタンスを生成する。 4つのデータセットに対する実験結果から,提案手法は,精度と一般化能力の両方の観点から,既存のデータ拡張手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2022-09-06T07:34:10Z)
• Leveraging Natural Supervision for Language Representation Learning and Generation [8.083109555490475]
  自然発生型監視を用いて,ニューラルネットワークのトレーニングと評価を改善するための3行の作業について述べる。 まず,NLPタスクに対する事前学習言語モデルの性能向上を支援するために,自己指導型学習損失について検討する。 文表現における意味論と構文のアンタングル化にパラフレーズペアを用いるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-21T17:26:03Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)
• Knowledge Graph Extraction from Videos [46.31652453979874]
  本稿では,ビデオから知識グラフを抽出するタスクを提案し,その内容の知識グラフとして記述する。 このタスクにはデータセットが存在しないため、ビデオに自然言語を付加したデータセットから始まる、それらを自動生成するメソッドも含んでいます。 提案手法を用いてMSVDとMSR-VTTの2つのデータセットであるMSVD*とMSR-VTT*について報告する。
  論文  参考訳（メタデータ） (2020-07-20T12:23:39Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。