論文の概要: A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation
- arxiv url: http://arxiv.org/abs/2609.26527v1
- Date: Tue, 22 Sep 2026 14:52:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-24 01:05:39.709652
- Title: A Semiotics-Aware Framework for Evaluating Fidelity and Coverage in Natural Language Generation
- Title（参考訳）: 自然言語生成における忠実度と包絡度評価のためのセミオティックス対応フレームワーク
- Abstract要約: 2つのテキストが同じ表現を記述している場合、語彙の重複や全文の類似性に基づく標準メトリクスは、その表現のフレーム化方法に意味のある違いを検知できない可能性がある。
本稿では,テキスト間のセマンティックなアライメントを評価するためのフレームワークを提案する。
提案手法では,2つのスコア,セメティック・フィデリティとセメティック・カバージュが得られ,一方のテキストのプロファイルが他方のテキストによってどの程度サポートされているか,他方のテキストのプロファイルが回復するかを推定する。
- 参考スコア（独自算出の注目度）: 1.6328866317851185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When two texts describe the same expression, standard metrics based on lexical overlap or whole-text similarity may fail to detect meaningful differences in how that expression is framed. We propose a framework to evaluate semiotic alignment between texts, where a semiotic profile encompasses both the contextual meaning and the discourse references made salient by a text. Our approach yields two scores, Semiotic Fidelity and Semiotic Coverage, estimating how much of one text's profile is supported by the other and how much of the other's profile it recovers. Experiments show that coverage is typically lower than fidelity, and that alignment between LLMs and human-curated data is highest at low sampling temperatures, while higher temperatures reduce this alignment.
- Abstract（参考訳）: 2つのテキストが同じ表現を記述している場合、語彙の重複や全文の類似性に基づく標準メトリクスは、その表現のフレーム化方法に意味のある違いを検知できない可能性がある。
本稿では,テキスト間のセマンティックなアライメントを評価するためのフレームワークを提案する。
提案手法では,2つのスコア,セメティック・フィデリティとセメティック・カバージュが得られ,一方のテキストのプロファイルが他方のテキストによってどの程度サポートされているか,他方のテキストのプロファイルが回復するかを推定する。
実験により、カバーは典型的には忠実度よりも低く、LDMと人為的なデータのアライメントは低いサンプリング温度で最高であり、より高い温度ではこのアライメントが減少することが示された。
関連論文リスト
- Aggregation-Aware Synthetic Text Generation Against Authorship Re-Identification [5.913289729330902]
AAST(Aggregation-Aware Synthetic Text Generation)は、各テキストを個別に最適化するのではなく、バンドルレベルで合成テキストを共同で選択するフレームワークである。
AASTは、生成や選択中に観察されていないジャンルから攻撃者を参照するクロスジェネリックな設定を含む、属性と検証攻撃をターゲットとしている。
バンドルサイズとしてのAASTアカウントレベルのリンカビリティは増加し、セマンティックな品質、言語的アクセシビリティ、感情アライメントが維持される。
論文 参考訳（メタデータ） (2026-08-23T01:26:07Z) - Beyond Similarity: Grounded Agentic Extraction and Expert-Adjudicated Evaluation of Intertextuality in Classical Chinese Histories [3.694051864521789]
我々は、大言語モデルが2つのテキスト単位をフルに読み込むエージェントタスクとして、きめ細かいテクスチャ間抽出をリキャストする。
3つのドメインの専門家がプールされたマルチモデル候補を2,533対のテキスト間ペアのベンチマークに設定し、Analects と Book of Han を徹底的に比較する手法を検証する。
論文 参考訳（メタデータ） (2026-07-30T02:34:23Z) - Context is Enough: Empirical Validation of $\textit{Sequentiality}$ on Essays [1.338174941551702]
コンテクスト版の連続性は, 談話レベルの特徴の人間による評価とより密接に一致していることを示す。
本研究は,自動エッセイ評価および関連するNLPタスクの検証,解釈,補完機能としてコンテキストベースのシーケンシャル性の利用を支援する。
論文 参考訳（メタデータ） (2025-11-12T10:31:07Z) - The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure [98.71456610527598]
埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。
本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
論文 参考訳（メタデータ） (2025-07-01T23:17:12Z) - CoheSentia: A Novel Benchmark of Incremental versus Holistic Assessment
of Coherence in Generated Texts [15.866519123942457]
自動生成テキストの人間知覚コヒーレンスに関する新しいベンチマークである sc CoheSentia を紹介する。
我々のベンチマークには、自動生成および人称注釈付き500の段落が含まれており、それぞれが両方の方法で注釈付けされている。
解析の結果,インクリメンタルモードにおけるアノテータ間の合意は,総合的な代替よりも高いことがわかった。
論文 参考訳（メタデータ） (2023-10-25T03:21:20Z) - Textual Entailment Recognition with Semantic Features from Empirical
Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。
本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。
本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文 参考訳（メタデータ） (2022-10-18T10:03:51Z) - StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis [52.341186561026724]
構成性の欠如は、堅牢性と公正性に深刻な影響を及ぼす可能性がある。
テキスト対画像合成の合成性を改善するための新しいフレームワークであるStyleT2Iを導入する。
その結果,StyleT2Iは入力テキストと合成画像との整合性という点で従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2022-03-29T17:59:50Z) - Consistency and Coherence from Points of Contextual Similarity [0.0]
近年,事実整合性に特化して提案されているESTIME測度は,人間の専門家のスコアと高い相関性が得られる。
これは現在の要約方式には問題はないが、将来の要約システムには障害となる可能性がある。
論文 参考訳（メタデータ） (2021-12-22T03:04:20Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。