論文の概要: Thresh: A Unified, Customizable and Deployable Platform for Fine-Grained Text Evaluation

• arxiv url: http://arxiv.org/abs/2308.06953v3
• Date: Mon, 16 Oct 2023 14:51:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 04:10:40.577405
• Title: Thresh: A Unified, Customizable and Deployable Platform for Fine-Grained Text Evaluation
• Title（参考訳）: Thresh: 微細テキスト評価のための統一された、カスタマイズ可能な、デプロイ可能なプラットフォーム
• Authors: David Heineman, Yao Dou, Wei Xu
• Abstract要約: Threshは、きめ細かい評価のための統一的でカスタマイズ可能な、デプロイ可能なプラットフォームです。 Threshはコミュニティハブを提供する。コミュニティによって作成され、収集される、きめ細かいフレームワークとそれに対応するアノテーションのコレクションをホストする。 Threshは、小さな手動検査から大規模なクラウドソーシングまで、あらゆる規模のアノテーションプロジェクトに対して、複数のオプションを提供している。
• 参考スコア（独自算出の注目度）: 11.690442820401453
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fine-grained, span-level human evaluation has emerged as a reliable and robust method for evaluating text generation tasks such as summarization, simplification, machine translation and news generation, and the derived annotations have been useful for training automatic metrics and improving language models. However, existing annotation tools implemented for these evaluation frameworks lack the adaptability to be extended to different domains or languages, or modify annotation settings according to user needs; and, the absence of a unified annotated data format inhibits the research in multi-task learning. In this paper, we introduce Thresh, a unified, customizable and deployable platform for fine-grained evaluation. With a single YAML configuration file, users can build and test an annotation interface for any framework within minutes -- all in one web browser window. To facilitate collaboration and sharing, Thresh provides a community hub that hosts a collection of fine-grained frameworks and corresponding annotations made and collected by the community, covering a wide range of NLP tasks. For deployment, Thresh offers multiple options for any scale of annotation projects from small manual inspections to large crowdsourcing ones. Additionally, we introduce a Python library to streamline the entire process from typology design and deployment to annotation processing. Thresh is publicly accessible at https://thresh.tools.
• Abstract（参考訳）: 要約, 単純化, 機械翻訳, ニュース生成などのテキスト生成タスクを評価するための信頼性が高く, 堅牢な手法として人体評価が登場し, 得られたアノテーションは自動メトリクスのトレーニングや言語モデルの改善に有用である。 しかし、これらの評価フレームワークに実装されている既存のアノテーションツールには、異なるドメインや言語に拡張したり、ユーザのニーズに応じてアノテーション設定を変更する適応性がない。 本稿では,細粒度評価のための統合化,カスタマイズ,デプロイ可能なプラットフォームであるthreshを紹介する。 単一のyaml構成ファイルで、ユーザはあらゆるフレームワークのアノテーションインターフェースを数分で構築し、テストすることができる。 コラボレーションと共有を容易にするために、threshは、コミュニティが作成、収集する細かなフレームワークと対応するアノテーションのコレクションをホストするコミュニティハブを提供し、幅広いnlpタスクをカバーしている。 Threshは、小さな手動検査から大規模なクラウドソーシングまで、あらゆる規模のアノテーションプロジェクトに複数のオプションを提供する。 さらに,タイポロジー設計からアノテーション処理へのデプロイまで,プロセス全体を合理化するpythonライブラリも導入する。 Threshはhttps://thresh.tools.comで公開されている。

関連論文リスト

• COMMENTATOR: A Code-mixed Multilingual Text Annotation Framework [1.114560772534785]
  コード混在型テキストアノテーションフレームワークであるCOMMENTATORを導入する。 このツールは、Hinglishテキストのトークンレベルおよび文レベル言語アノテーションタスクにおいて、その効果を示す。
  論文  参考訳（メタデータ） (2024-08-06T11:56:26Z)
• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• Unitxt: Flexible, Shareable and Reusable Data Preparation and Evaluation for Generative AI [15.220987187105607]
  Unitxtは、生成言語モデルに適した、カスタマイズ可能なテキストデータ準備と評価のための革新的なライブラリである。 UnitxtはHFaceやLM-eval-harnessといった一般的なライブラリと統合されており、実践者間のカスタマイズや共有が容易である。 Unitxtは、ツール以外にも、コミュニティ主導のプラットフォームで、ユーザがパイプラインを構築し、共有し、前進することを可能にする。
  論文  参考訳（メタデータ） (2024-01-25T08:57:33Z)
• Antarlekhaka: A Comprehensive Tool for Multi-task Natural Language Annotation [0.0]
  Antarlekhakaは自然言語処理に関連する一連のタスクを手作業でアノテーションするツールである。 このツールはUnicode互換で、言語に依存しない、Webデプロイ可能で、複数の同時アノテータによる分散アノテーションをサポートする。 サンスクリット語とベンガル語という2つの異なる言語での2つの実生活のアノテーションタスクに使用されている。
  論文  参考訳（メタデータ） (2023-10-11T19:09:07Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Summary Workbench: Unifying Application and Evaluation of Text Summarization Models [24.40171915438056]
  新しいモデルと評価基準は、Dockerベースのプラグインとして簡単に統合できる。 複数の測度を組み合わせた視覚分析は、モデルの強みと弱みに関する洞察を与える。
  論文  参考訳（メタデータ） (2022-10-18T04:47:25Z)
• Selective Annotation Makes Language Models Better Few-Shot Learners [97.07544941620367]
  大規模な言語モデルはコンテキスト内学習を実行でき、いくつかのタスクデモから新しいタスクを学ぶことができる。 本研究は、新しい自然言語タスクのためのデータセット作成において、文脈内学習がもたらす意味について考察する。 本稿では,無教師付きグラフベースの選択的アノテーションであるvoke-kを提案する。
  論文  参考訳（メタデータ） (2022-09-05T14:01:15Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)
• OPAD: An Optimized Policy-based Active Learning Framework for Document Content Analysis [6.159771892460152]
  文書のコンテンツ検出タスクにおける能動的学習のための強化ポリシーを用いた新しいフレームワークであるtextitOPADを提案する。 フレームワークは、取得機能を学び、パフォーマンスメトリクスを最適化しながら、選択するサンプルを決定する。 本稿では,文書理解に関わる様々なタスクに対する能動的学習のためのテキストOPADフレームワークの優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-01T07:40:56Z)
• A Data-Centric Framework for Composable NLP Workflows [109.51144493023533]
  アプリケーションドメインにおける経験的自然言語処理システム(例えば、ヘルスケア、ファイナンス、教育)は、複数のコンポーネント間の相互運用を伴う。 我々は,このような高度なNLPの高速な開発を支援するために,統一的なオープンソースフレームワークを構築した。
  論文  参考訳（メタデータ） (2021-03-02T16:19:44Z)
• UniT: Unified Knowledge Transfer for Any-shot Object Detection and Segmentation [52.487469544343305]
  オブジェクト検出とセグメンテーションの方法は、トレーニングのための大規模インスタンスレベルのアノテーションに依存します。 本稿では,直感的かつ統一的な半教師付きモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-12T22:45:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。