論文の概要: Automatic Text Evaluation through the Lens of Wasserstein Barycenters

• arxiv url: http://arxiv.org/abs/2108.12463v1
• Date: Fri, 27 Aug 2021 19:08:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 15:02:47.819257
• Title: Automatic Text Evaluation through the Lens of Wasserstein Barycenters
• Title（参考訳）: Wasserstein Barycenters レンズによるテキストの自動評価
• Authors: Pierre Colombo, Guillaume Staerman, Chloe Clavel, Pablo Piantanida
• Abstract要約: 文脈の深い埋め込みに基づくテキスト生成を評価するために,新しい計量式texttBaryScore が導入された。 以上の結果から, texttBaryScore は他のBERT ベースの指標よりも優れており,特にテキスト要約において一貫した振る舞いを示すことがわかった。
• 参考スコア（独自算出の注目度）: 24.71226781348407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A new metric \texttt{BaryScore} to evaluate text generation based on deep contextualized embeddings (\textit{e.g.}, BERT, Roberta, ELMo) is introduced. This metric is motivated by a new framework relying on optimal transport tools, \textit{i.e.}, Wasserstein distance and barycenter. By modelling the layer output of deep contextualized embeddings as a probability distribution rather than by a vector embedding; this framework provides a natural way to aggregate the different outputs through the Wasserstein space topology. In addition, it provides theoretical grounds to our metric and offers an alternative to available solutions (\textit{e.g.}, MoverScore and BertScore). Numerical evaluation is performed on four different tasks: machine translation, summarization, data2text generation and image captioning. Our results show that \texttt{BaryScore} outperforms other BERT based metrics and exhibits more consistent behaviour in particular for text summarization.
• Abstract（参考訳）: 新しいメトリクス \texttt{BaryScore} は、深くコンテキスト化された埋め込み(\textit{e.g)に基づいたテキスト生成を評価する。 BERT, Roberta, ELMo) が導入された。 このメトリックは、最適なトランスポートツールである \textit{i.e.} に依存する新しいフレームワークによって動機付けられる。 が、wasserstein距離とbarycenter距離である。 深く文脈化された埋め込みの層出力をベクトル埋め込みではなく確率分布としてモデル化することで、このフレームワークはワッサースタイン空間トポロジーを通して異なる出力を集約する自然な方法を提供する。 さらに、メトリクスの理論的根拠を提供し、利用可能なソリューションの代替を提供する(例えば、\textit{e})。 moverscore と bertscore) である。 機械翻訳,要約,データ2テキスト生成,画像キャプションの4つのタスクで数値評価を行う。 以上の結果から,texttt{BaryScore} は他のBERT ベースの指標よりも優れており,特にテキスト要約において一貫した振る舞いを示すことがわかった。

関連論文リスト

• TIGERScore: Towards Building Explainable Metric for All Text Generation Tasks [44.801746603656504]
  TIGERScore は textbfInstruction textbfGuidance に従って textbfExplainable および textbfReference-free 評価を行う。 我々のメトリクスは、厳密にキュレートされた命令チューニングデータセット MetricInstruct に基づいて訓練された LLaMA-2 に基づいている。
  論文  参考訳（メタデータ） (2023-10-01T18:01:51Z)
• TOPFORMER: Topology-Aware Authorship Attribution of Deepfake Texts with Diverse Writing Styles [14.205559299967423]
  近年のLarge Language Models (LLM) の進歩により、人間の文章と区別しにくい、オープンエンドの高品質なテキストの生成が可能になった。 悪意のある意図を持つユーザは、これらのオープンソース LLM を使用して、有害なテキストや、大規模な偽情報を生成することができる。 この問題を軽減するために、与えられたテキストがディープフェイクテキストであるか否かを判定する計算方法を提案する。 そこで我々はTopFormerを提案し、より言語的なパターンをディープフェイクテキストに取り込み、既存のAAソリューションを改善する。
  論文  参考訳（メタデータ） (2023-09-22T15:32:49Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
  本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。 最終事実度スコアは、調整可能なスコアリング機構により算出される。 英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
  論文  参考訳（メタデータ） (2023-05-22T17:59:42Z)
• BARTScore: Evaluating Generated Text as Text Generation [89.50052670307434]
  我々は、事前学習されたシーケンス・ツー・シーケンスモデルを用いてモデル化されたテキスト生成問題として、生成されたテキストの評価を概念化する。 我々は、エンコーダ-デコーダベースの事前学習モデルであるBARTを用いて、このアイデアを運用する。 本稿では,様々な視点からテキストの評価に柔軟に適用可能な,数多くの変種を持つメトリクスBARTScoreを提案する。
  論文  参考訳（メタデータ） (2021-06-22T03:20:53Z)
• BOTD: Bold Outline Text Detector [85.33700624095181]
  我々はBold Outline Text Detector(BOTD)と呼ばれる新しい1段テキスト検出器を提案する。 BOTDは、モデルの複雑さを低くして任意の形のテキストを処理できる。 3つの実世界のベンチマークによる実験結果から,BOTDの最先端性能が示された。
  論文  参考訳（メタデータ） (2020-11-30T11:54:14Z)
• All you need is a second look: Towards Tighter Arbitrary shape text detection [80.85188469964346]
  長い曲線のテキストインスタンスは、CNNの受信フィールドサイズが制限されているため、断片化されがちである。 矩形や四角形のバウンディングボックスを用いた単純な表現は、より難しい任意の形のテキストを扱う際に不足する。 textitNASKは、予測された幾何学的属性を使用して、より厳密な表現でテキストインスタンスを再構築する。
  論文  参考訳（メタデータ） (2020-04-26T17:03:41Z)
• Learning to Select Bi-Aspect Information for Document-Scale Text Content Manipulation [50.01708049531156]
  我々は、テキストスタイルの転送とは逆の文書スケールのテキストコンテンツ操作という、新しい実践的なタスクに焦点を当てる。 詳細は、入力は構造化されたレコードと、別のレコードセットを記述するための参照テキストのセットである。 出力は、ソースレコードセットの部分的内容と参照の書き込みスタイルを正確に記述した要約である。
  論文  参考訳（メタデータ） (2020-02-24T12:52:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。