論文の概要: BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence
- arxiv url: http://arxiv.org/abs/2312.16893v1
- Date: Thu, 28 Dec 2023 08:34:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-29 17:03:08.905567
- Title: BBScore: A Brownian Bridge Based Metric for Assessing Text Coherence
- Title（参考訳）: bbscore: テキストコヒーレンスを評価するためのブラウンブリッジベースのメトリクス
- Authors: Zhecheng Sheng, Tianhao Zhang, Chen Jiang, Dongyeop Kang
- Abstract要約: コヒーレントテキストは本質的に文間の連続的かつ密着的な相互作用を示す。
BBScore(英: BBScore)は、ブラウン橋理論において、テキストコヒーレンスを評価するための基準のない計量である。
- 参考スコア（独自算出の注目度）: 20.507596002357655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Measuring the coherence of text is a vital aspect of evaluating the quality
of written content. Recent advancements in neural coherence modeling have
demonstrated their efficacy in capturing entity coreference and discourse
relations, thereby enhancing coherence evaluation. However, many existing
methods heavily depend on static embeddings or focus narrowly on nearby
context, constraining their capacity to measure the overarching coherence of
long texts. In this paper, we posit that coherent texts inherently manifest a
sequential and cohesive interplay among sentences, effectively conveying the
central theme, purpose, or standpoint. To explore this abstract relationship,
we introduce the "BBScore," a novel reference-free metric grounded in Brownian
bridge theory for assessing text coherence. Our findings showcase that when
synergized with a simple additional classification component, this metric
attains a performance level comparable to state-of-the-art techniques on
standard artificial discrimination tasks. We also establish in downstream tasks
that this metric effectively differentiates between human-written documents and
text generated by large language models under a specific domain. Furthermore,
we illustrate the efficacy of this approach in detecting written styles
attributed to diverse large language models, underscoring its potential for
generalizability. In summary, we present a novel Brownian bridge coherence
metric capable of measuring both local and global text coherence, while
circumventing the need for end-to-end model training. This flexibility allows
for its application in various downstream tasks.
- Abstract（参考訳）: テキストの一貫性を測定することは、文章コンテンツの品質を評価する上で重要な側面である。
近年のニューラル・コヒーレンス・モデリングの進歩により、エンティティ・コヒーレンスと談話の関係を捉える効果が実証され、コヒーレンス評価が向上している。
しかし、既存の多くのメソッドは静的な埋め込みに大きく依存するか、近くのコンテキストに狭く集中し、長いテキストの全体的一貫性を測定する能力を制限する。
本稿では,コヒーレントなテクストが本質的に連続的かつ凝集的な文間相互作用を示し,その中心的テーマ,目的,観点を効果的に伝達することを示す。
この抽象的な関係を探求するために、ブラウン橋理論に基づく新しい参照なし計量「BBScore」を導入し、テキストコヒーレンスを評価する。
以上の結果から,単純な付加的な分類要素を組み合わせると,標準人工的識別タスクにおける最先端技術に匹敵する性能レベルが得られることが示された。
また、この指標が特定のドメインの下で大規模言語モデルによって生成される文書とテキストとを効果的に区別する下流タスクを確立する。
さらに,多種多様な大規模言語モデルに起因する文様の検出において,この手法の有効性を示し,その一般化可能性について考察する。
まとめると, エンドツーエンドモデルトレーニングの必要性を回避しつつ, 局所的およびグローバル的テキストコヒーレンスを計測可能な, 新規なブラウンブリッジコヒーレンスメトリックを提案する。
この柔軟性により、さまざまなダウンストリームタスクに応用できる。
関連論文リスト
- Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。
実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-06-06T15:17:51Z) - How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。
その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。
多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
論文 参考訳（メタデータ） (2023-11-14T08:51:00Z) - CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment
of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。
我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。
解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文 参考訳（メタデータ） (2023-10-25T03:21:20Z) - Language Model Decoding as Direct Metrics Optimization [87.68281625776282]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳（メタデータ） (2023-10-02T09:35:27Z) - Multi-Dimensional Evaluation of Text Summarization with In-Context
Learning [79.02280189976562]
本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。
実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。
次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
論文 参考訳（メタデータ） (2023-06-01T23:27:49Z) - Topics in the Haystack: Extracting and Evaluating Topics beyond
Coherence [0.0]
本稿では,文と文書のテーマを深く理解する手法を提案する。
これにより、一般的な単語やネオロジズムを含む潜在トピックを検出することができる。
本稿では, 侵入者の単語の人間識別と相関係数を示し, 単語侵入作業において, ほぼ人間レベルの結果を得る。
論文 参考訳（メタデータ） (2023-03-30T12:24:25Z) - Large Language Models are Diverse Role-Players for Summarization
Evaluation [82.31575622685902]
文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。
BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。
目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-27T10:40:59Z) - An Inclusive Notion of Text [69.36678873492373]
テキストの概念の明確さは再現可能で一般化可能なNLPにとって不可欠である,と我々は主張する。
言語的および非言語的要素の2層分類を導入し,NLPモデリングに使用することができる。
論文 参考訳（メタデータ） (2022-11-10T14:26:43Z) - Quantitative Discourse Cohesion Analysis of Scientific Scholarly Texts
using Multilayer Networks [10.556468838821338]
本研究の目的は,多層ネットワーク表現を用いた学術文献における談話の凝集度を計算学的に解析することである。
テキストにおける語彙的凝集度を評価するために,セクションレベルおよび文書レベルのメトリクスを設計する。
本稿では、著者に原稿の潜在的な改善のためのポインタを提供するための分析フレームワークCHIAA(CHeck It Again, Author)を提案する。
論文 参考訳（メタデータ） (2022-05-16T09:10:41Z) - Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。
記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
論文 参考訳（メタデータ） (2022-05-04T14:35:38Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳（メタデータ） (2022-04-22T16:39:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。