論文の概要: COMMENTATOR: A Code-mixed Multilingual Text Annotation Framework
- arxiv url: http://arxiv.org/abs/2408.03125v1
- Date: Tue, 6 Aug 2024 11:56:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-07 14:17:45.570486
- Title: COMMENTATOR: A Code-mixed Multilingual Text Annotation Framework
- Title(参考訳): COMMENTATOR: コード混在型多言語テキストアノテーションフレームワーク
- Authors: Rajvee Sheth, Shubh Nisar, Heenaben Prajapati, Himanshu Beniwal, Mayank Singh,
- Abstract要約: コード混在型テキストアノテーションフレームワークであるCOMMENTATORを導入する。
このツールは、Hinglishテキストのトークンレベルおよび文レベル言語アノテーションタスクにおいて、その効果を示す。
- 参考スコア(独自算出の注目度): 1.114560772534785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the NLP community increasingly addresses challenges associated with multilingualism, robust annotation tools are essential to handle multilingual datasets efficiently. In this paper, we introduce a code-mixed multilingual text annotation framework, COMMENTATOR, specifically designed for annotating code-mixed text. The tool demonstrates its effectiveness in token-level and sentence-level language annotation tasks for Hinglish text. We perform robust qualitative human-based evaluations to showcase COMMENTATOR led to 5x faster annotations than the best baseline. Our code is publicly available at \url{https://github.com/lingo-iitgn/commentator}. The demonstration video is available at \url{https://bit.ly/commentator_video}.
- Abstract(参考訳): NLPコミュニティは、多言語性に関連する課題に対処する傾向にあるため、堅牢なアノテーションツールは、多言語データセットを効率的に扱うために不可欠である。
本稿では,コード混在型テキストアノテーションフレームワークであるCOMMENTATORについて紹介する。
このツールは、Hinglishテキストのトークンレベルおよび文レベル言語アノテーションタスクにおいて、その効果を示す。
我々は、COMMENTATORが最高のベースラインよりも5倍高速なアノテーションをもたらすことを示すために、堅牢な定性的な人間ベースの評価を行う。
私たちのコードは \url{https://github.com/lingo-iitgn/commentator} で公開されています。
デモビデオは \url{https://bit.ly/commentator_video} で公開されている。
関連論文リスト
- Multilingual Synopses of Movie Narratives: A Dataset for Vision-Language Story Understanding [19.544839928488972]
我々はM-SYMON(Multilingual Synopses of Movie Narratives)という大規模多言語ビデオストーリーデータセットを構築した。
M-SYMONには、7つの言語からの13,166本の映画要約ビデオと、101.5時間のビデオの詳細なビデオテキスト対応のマニュアルアノテーションが含まれている。
SyMoNからの注釈付きデータのトレーニングは、Clip AccuracyとSentence IoUのスコアでそれぞれ15.7と16.2でSOTA法を上回ります。
論文 参考訳(メタデータ) (2024-06-18T22:44:50Z) - Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
視覚エンコーダとマルチモーダル大言語モデル(MLLM)の整合性に着目した既存手法
そこで本研究では,テキストガイダンスを用いて視覚的トークンアライメントを言語レベルで促進する新しい手法であるParrotを紹介する。
本手法は,多言語MMBenchおよびMMMB上での最先端性能を示すだけでなく,多モーダルタスクにも優れる。
論文 参考訳(メタデータ) (2024-06-04T17:56:28Z) - MSNER: A Multilingual Speech Dataset for Named Entity Recognition [34.88608417778945]
名前付きエンティティを付加した多言語音声コーパスであるMSNERを紹介する。
これは4つの言語でVoxPopuliデータセットにアノテーションを提供する。
その結果、トレーニングと検証のために590時間15時間の銀の注釈付きスピーチと、17時間手動の注釈付き評価セットが得られた。
論文 参考訳(メタデータ) (2024-05-19T11:17:00Z) - Antarlekhaka: A Comprehensive Tool for Multi-task Natural Language
Annotation [0.0]
Antarlekhakaは自然言語処理に関連する一連のタスクを手作業でアノテーションするツールである。
このツールはUnicode互換で、言語に依存しない、Webデプロイ可能で、複数の同時アノテータによる分散アノテーションをサポートする。
サンスクリット語とベンガル語という2つの異なる言語での2つの実生活のアノテーションタスクに使用されている。
論文 参考訳(メタデータ) (2023-10-11T19:09:07Z) - Thresh: A Unified, Customizable and Deployable Platform for Fine-Grained
Text Evaluation [11.690442820401453]
Threshは、きめ細かい評価のための統一的でカスタマイズ可能な、デプロイ可能なプラットフォームです。
Threshはコミュニティハブを提供する。コミュニティによって作成され、収集される、きめ細かいフレームワークとそれに対応するアノテーションのコレクションをホストする。
Threshは、小さな手動検査から大規模なクラウドソーシングまで、あらゆる規模のアノテーションプロジェクトに対して、複数のオプションを提供している。
論文 参考訳(メタデータ) (2023-08-14T06:09:51Z) - Chinese Open Instruction Generalist: A Preliminary Release [33.81265396916227]
本研究では,4つのサブタスクの固有特性に適応した各種手法による中国語指導データセットの作成を目的としたプロジェクトを提案する。
我々は、品質を保証するために手作業でチェックされた約200万の中国語のインストラクションチューニングサンプルを収集した。
既存の英語と中国語の命令コーパスを要約し、新たに構築された中国語の命令コーパスの潜在的な応用を簡潔に述べる。
論文 参考訳(メタデータ) (2023-04-17T04:45:06Z) - Watch and Learn: Mapping Language and Noisy Real-world Videos with
Self-supervision [54.73758942064708]
我々は、明示的なアノテーションを使わずに、文章と騒々しいビデオスニペットのマッピングを学習することで、視覚と自然言語を理解するように機械に教える。
トレーニングと評価のために、多数のオンラインビデオとサブタイトルを含む新しいデータセットApartmenTourをコントリビュートする。
論文 参考訳(メタデータ) (2020-11-19T03:43:56Z) - Vokenization: Improving Language Understanding with Contextualized,
Visual-Grounded Supervision [110.66085917826648]
我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。
語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。
これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
論文 参考訳(メタデータ) (2020-10-14T02:11:51Z) - Consecutive Decoding for Speech-to-text Translation [51.155661276936044]
COnSecutive Transcription and Translation (COSTT)は、音声からテキストへの翻訳に不可欠な手法である。
鍵となるアイデアは、ソースの書き起こしとターゲットの翻訳テキストを1つのデコーダで生成することである。
本手法は3つの主流データセットで検証する。
論文 参考訳(メタデータ) (2020-09-21T10:10:45Z) - "Listen, Understand and Translate": Triple Supervision Decouples
End-to-end Speech-to-text Translation [49.610188741500274]
エンドツーエンドの音声テキスト翻訳(ST)は、ソース言語で音声を取り、ターゲット言語でテキストを出力する。
既存の方法は並列コーパスの量によって制限される。
並列STコーパスで信号を完全に活用するシステムを構築した。
論文 参考訳(メタデータ) (2020-09-21T09:19:07Z) - Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。
我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。
我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
論文 参考訳(メタデータ) (2020-08-21T20:59:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。