論文の概要: High-Level Text Preprocessing for Semantic Similarity Analysis of Discursive Texts: A Framework and Empirical Demonstration

• arxiv url: http://arxiv.org/abs/2609.33983v1
• Date: Sun, 27 Sep 2026 22:32:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 08:06:19.273555
• Title: High-Level Text Preprocessing for Semantic Similarity Analysis of Discursive Texts: A Framework and Empirical Demonstration
• Title（参考訳）: 識別テキストの意味的類似性分析のための高レベルテキスト前処理:フレームワークと経験的実証
• Abstract要約: 本稿では,各文書の実際のクレームをその分散構造から分離する高レベルテキスト前処理を提案する。 この枠組みは哲学的テキストを用いて実証されているが、法的なテキスト、政策文書、学術論文、その他のジャンルに適用可能なドメインに依存しない問題に対処する可能性がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic Textual Similarity (STS) methods assume that a document's lexical content faithfully represents what it asserts. This assumption fails for discursive documents that discuss, compare, critique, and contextualize other positions in the process of articulating their own. The result is semantic diffusion: similarity scores between documents are inflated by vocabulary acquired through discursive engagement rather than substantive alignment. Standard Natural Language Processing (NLP) preprocessing (tokenization, stopword removal, stemming, lemmatization) cannot address this problem because it operates at the lexical level, treating all content identically regardless of its discursive function. This paper introduces high-level text preprocessing: a systematic, rule-based intervention applied before the standard preprocessing pipeline to isolate each document's actual claim from its discursive structure. We propose 12 rules, each with an explicit rationale, and demonstrate their effect on an encyclopedic philosophical corpus: three entries from the Stanford Encyclopedia of Philosophy (virtue ethics, deontological ethics, and consequentialism). A three-phase experiment using eight Transformer-based STS models shows that preprocessing reduces centroid cosine similarity scores across all three theory pairs, with 23 of 24 model-pair comparisons showing the expected decrease and cross-model agreement ranging from 7-1 to 8-0. We introduce the semantic diffusion index (SDI), a per-document metric for assessing the semantic reorientation between a document's raw and high-level preprocessed representations. Although the framework is demonstrated using philosophical texts, it potentially addresses a domain-agnostic problem applicable to legal texts, policy documents, academic articles, and any genre in which a discursive approach introduces vocabulary from positions the document does not endorse.
• Abstract（参考訳）: Semantic Textual similarity (STS)メソッドは、文書の語彙内容が、それが主張するものを忠実に表現していると仮定する。 この仮定は、自分自身を述べる過程において他の位置について議論し、比較し、批判し、文脈化する非帰的文書に失敗する。 文書間の類似度スコアは、実体的アライメントではなく、非帰的エンゲージメントによって得られる語彙によって膨らませられる。 標準自然言語処理(NLP)プリプロセッシング(トークン化、ストップワード除去、スリーミング、補題化)は、語彙レベルで動作し、その分散関数に関わらず全てのコンテンツを同一に扱うため、この問題に対処できない。 本稿では,各文書の実際のクレームをその分散構造から分離するために,標準前処理パイプラインの前に,規則に基づく体系的な介入を施した高レベルテキスト前処理を紹介する。 我々は、それぞれ明確な根拠を持つ12のルールを提案し、それらが百科事典哲学コーパス(Stanford Encyclopedia of Philosophy)の3つのエントリ(仮想倫理、非オントロジカル倫理、そして連続主義)に影響を及ぼすことを実証する。 8つのTransformer-based STSモデルを用いた3相実験により、前処理は3つの理論ペアすべてでセントロイドコサイン類似度スコアを減少させ、23のモデルペア比較では7-1から8-0の範囲で予測される減少と交差モデルの一致を示した。 文書の生と高レベルの事前処理表現間のセマンティックリオリエンテーションを評価するための文書単位のセマンティック拡散指標(SDI)を導入する。 この枠組みは哲学的テキストを用いて実証されているが、法的なテキスト、政策文書、学術論文、その他のジャンルに適用可能なドメインに依存しない問題に対処する可能性がある。

関連論文リスト

• Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring [39.19569497931068]
  文書比較の微妙な意味変化に対してLLM感度を探索するスケーラブルな多要素実験フレームワークを提案する。 LLMは文書内位置バイアスを呈するなど,いくつかの顕著な知見が得られた。 提案フレームワークは,現在および将来のモデル間でのスコアリング動作の監査と比較を行うための,実用的でLCMに依存しないツールキットを提供する。
  論文  参考訳（メタデータ） (2026-04-20T20:59:25Z)
• Text-as-Signal: Quantitative Semantic Scoring with Embeddings, Logprobs, and Noise Reduction [0.0]
  本稿では,テキストコーパスを定量的意味信号に変換するための実用的なパイプラインを提案する。 本稿では,Qwen埋め込み, UMAP, モデル出力空間から直接導出される意味指標, および3段階の異常検出手順が, 操作用テキスト・アズ・サインのワークフローにどのように組み合わされているかを示す。
  論文  参考訳（メタデータ） (2026-03-17T19:56:29Z)
• SCORE: A Semantic Evaluation Framework for Generative Document Parsing [2.5101597298392098]
  マルチモーダル生成文書解析システムは意味論的に正しいが構造的に異なる出力を生成する。 従来のメトリクス-CER, WER, IoU, TEDS-misclassized such diversity as error, penalizing valid interpretations and obscuring system behavior。 SCORE, (i) 調整した編集距離を頑健な内容の忠実度と統合する解釈非依存のフレームワーク, (ii) トークンレベルの診断で幻覚と排便を区別する, (iii) 空間的寛容とセマンティックアライメントによるテーブル評価, (iv) 階層対応の整合性チェックを紹介する。
  論文  参考訳（メタデータ） (2025-09-16T16:06:19Z)
• Language Models As Semantic Indexers [78.83425357657026]
  本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。 学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
  論文  参考訳（メタデータ） (2023-10-11T18:56:15Z)
• PropSegmEnt: A Large-Scale Corpus for Proposition-Level Segmentation and Entailment Recognition [63.51569687229681]
  文中の各命題の文的含意関係を個別に認識する必要性について論じる。 提案するPropSegmEntは45K以上の提案のコーパスであり, 専門家によるアノテートを行う。 我々のデータセット構造は、(1)文書内の文章を命題の集合に分割し、(2)異なるが、トポジカルに整合した文書に対して、各命題の含意関係を分類するタスクに類似している。
  論文  参考訳（メタデータ） (2022-12-21T04:03:33Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Coherence-Based Distributed Document Representation Learning for Scientific Documents [9.646001537050925]
  本研究では,科学文書の表現を学習するために,結合テキストペア埋め込み(CTPE)モデルを提案する。 我々は、異なる文書から2つの部分を持つ非結合テキストペアを構築するために、負のサンプリングを使用する。 テキストペアが結合されているか、アンカップリングされているかを判断するためにモデルを訓練し、結合されたテキストペアの埋め込みを文書の埋め込みとして使用する。
  論文  参考訳（メタデータ） (2022-01-08T15:29:21Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Enhanced word embeddings using multi-semantic representation through lexical chains [1.8199326045904998]
  フレキシブル・レキシカル・チェーンIIと固定レキシカル・チェーンIIという2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは、語彙連鎖から派生した意味関係、語彙データベースからの以前の知識、および単一のシステムを形成するビルディングブロックとしての単語埋め込みにおける分布仮説の堅牢性を組み合わせている。 その結果、語彙チェーンと単語埋め込み表現の統合は、より複雑なシステムに対しても、最先端の結果を維持します。
  論文  参考訳（メタデータ） (2021-01-22T09:43:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。