Fugu-MT 論文翻訳(概要): Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting

論文の概要: Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting

arxiv url: http://arxiv.org/abs/2305.14755v2
Date: Mon, 23 Oct 2023 17:11:30 GMT
ステータス: 処理完了
システム内更新日: 2023-10-25 11:32:25.689114
Title: Don't Take This Out of Context! On the Need for Contextual Models and Evaluations for Stylistic Rewriting
Title（参考訳）: コンテキストから外すな! 文脈モデルの必要性とスタイリスティック書き直しの評価について
Authors: Akhila Yerukola, Xuhui Zhou, Elizabeth Clark, Maarten Sap
Abstract要約: 本稿では,文脈結合性と原文との類似性を組み合わせた新しい複合文脈評価指標であるtextttCtxSimFit$を紹介する。実験の結果,人間は文脈的書き直しを,非文脈的書き直しよりも適切で自然なものにすることが示唆された。
参考スコア（独自算出の注目度）: 29.983234538677543
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Most existing stylistic text rewriting methods and evaluation metrics operate on a sentence level, but ignoring the broader context of the text can lead to preferring generic, ambiguous, and incoherent rewrites. In this paper, we investigate integrating the preceding textual context into both the $\textit{rewriting}$ and $\textit{evaluation}$ stages of stylistic text rewriting, and introduce a new composite contextual evaluation metric $\texttt{CtxSimFit}$ that combines similarity to the original sentence with contextual cohesiveness. We comparatively evaluate non-contextual and contextual rewrites in formality, toxicity, and sentiment transfer tasks. Our experiments show that humans significantly prefer contextual rewrites as more fitting and natural over non-contextual ones, yet existing sentence-level automatic metrics (e.g., ROUGE, SBERT) correlate poorly with human preferences ($\rho$=0--0.3). In contrast, human preferences are much better reflected by both our novel $\texttt{CtxSimFit}$ ($\rho$=0.7--0.9) as well as proposed context-infused versions of common metrics ($\rho$=0.4--0.7). Overall, our findings highlight the importance of integrating context into the generation and especially the evaluation stages of stylistic text rewriting.
Abstract（参考訳）: 既存のスタイリスティックなテキスト書き換え手法や評価指標は文レベルで機能するが、テキストのより広い文脈を無視すると、汎用的で曖昧で一貫性のない書き直しが好まれる。本稿では、先行するテキストコンテキストを、スタイリスティックテキストの書き直しの段階である$\textit{rewriting}$と$\textit{evaluation}$の2つに統合することを検討するとともに、元のテキストとコンテクストの結合性を組み合わせた新しいコンテクスト評価指標である$\textt{CtxSimFit}$を導入する。形式性,毒性,感情伝達タスクの非文脈的および文脈的書き直しを比較検討した。しかし、既存の文レベルの自動メトリクス(例えば、rouge, sbert)は、人間の好みとあまり相関しない(\rho$=0-0.3)。対照的に、人間の好みは、我々の新しい$\texttt{ctxsimfit}$(\rho$=0.7--0.9)と、コンテキストに影響を受けた共通メトリクス(\rho$=0.4--0.7)の両方によって、ずっとよく反映されている。総じて,スタイリスティックなテキスト書き換えの評価段階において,コンテクストを世代,特に評価段階に統合することの重要性を強調する。

関連論文リスト

Fine-grained Controllable Text Generation through In-context Learning with Feedback [57.396980277089135]
本稿では,依存度などの非自明な言語的特徴の特定の値に一致させるために,入力文を書き換える手法を提案する。従来の研究とは対照的に、本手法は微調整ではなく文脈内学習を用いており、データが少ないユースケースに適用できる。
論文参考訳（メタデータ） (2024-06-17T08:55:48Z)
CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文参考訳（メタデータ） (2023-10-25T03:21:20Z)
TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
論文参考訳（メタデータ） (2023-06-06T03:37:41Z)
Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文参考訳（メタデータ） (2022-10-18T10:03:51Z)
A General Contextualized Rewriting Framework for Text Summarization [15.311467109946571]
抽出文は比較的焦点が当てられているが、背景知識や談話の文脈が失われる可能性がある。コンテントベースのアドレッシングによって抽出文を識別し、グループタグアライメントを施したSeq2seqとしてコンテクスト化された書き直しを形式化する。その結果,本手法は強化学習を必要とせず,非コンテクスチュアライズされた書き換えシステムよりも優れていた。
論文参考訳（メタデータ） (2022-07-13T03:55:57Z)
CORE-Text: Improving Scene Text Detection with Contrastive Relational Reasoning [65.57338873921168]
自然界におけるテキストインスタンスのローカライズは、コンピュータビジョンにおける根本的な課題であると考えられている。本研究では,サブテキスト問題を定量的に解析し,シンプルで効果的な設計であるContrastive Relation(CORE)モジュールを提案する。我々は、COREモジュールをMask R-CNNの2段階テキスト検出器に統合し、テキスト検出器CORE-Textを考案する。
論文参考訳（メタデータ） (2021-12-14T16:22:25Z)
Video Text Tracking With a Spatio-Temporal Complementary Model [46.99051486905713]
テキストトラッキングは、ビデオ内の複数のテキストを追跡し、各テキストの軌跡を構築することである。既存の手法は、トラッキング・バイ・ディテククション・フレームワークを利用する。我々は、このパラダイムの追跡精度がより複雑なシナリオで著しく制限されていると論じる。
論文参考訳（メタデータ） (2021-11-09T08:23:06Z)
Sentence Semantic Regression for Text Generation [25.16392119801612]
本稿では文レベル言語モデリングに基づくセンテンス・セマンティック・レグレッション(textbfSSR)という新しいフレームワークを提案する。アイデア推論では、textbfSSR-AR と textbfSSR-NonAR の2つのアーキテクチャが、文の意味的回帰を自動回帰的に実行するように設計されている。表面実現の段階において、混合粒度文デコーダは、一貫性のあるテキストを生成するように設計されている。
論文参考訳（メタデータ） (2021-08-06T07:35:59Z)
A Case Study of Spanish Text Transformations for Twitter Sentiment Analysis [1.9694608733361543]
感性分析は、与えられたテキストの極性、すなわちその正性または負性を決定するテキストマイニングタスクである。テキスト表現の新しい形式は、スラング、正書法、文法的誤りを用いてテキストを分析するための新しい課題を示す。
論文参考訳（メタデータ） (2021-06-03T17:24:31Z)
Contextual Text Style Transfer [73.66285813595616]
コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
論文参考訳（メタデータ） (2020-04-30T23:01:12Z)
Extractive Summarization as Text Matching [123.09816729675838]
本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。抽出した要約タスクを意味テキストマッチング問題として定式化する。我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
論文参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。