論文の概要: Quantifying Meaning with SCAPE-T: Semantic Complexity from Encoder-Only Transformer Attention

• arxiv url: http://arxiv.org/abs/2610.33441v1
• Date: Sat, 24 Oct 2026 04:34:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.329605
• Title: Quantifying Meaning with SCAPE-T: Semantic Complexity from Encoder-Only Transformer Attention
• Title（参考訳）: SCAPE-Tによる意味の定量化: Encoder-Only Transformer Attention による意味複雑性
• Abstract要約: 本稿では,テキストの意味を一意に指定し,SCAPE-Tで操作するのに要するコード長を意味複雑性と定義する。 SCAPE-Tは、(i)逆重み付き自己焦点(token-to-self)、(ii)焦点(token-to-self)、(iii)頭間冗長(cosine similarity across head)の3つのサブメトリックを組み合わせることで、直接意味統合を目標とする。 その結果、SCAPE-Tは、既存の手法よりも語彙/シンタクティクスから概念構造を分離し、2つの保持領域にまたがる一般化を示した。
• 参考スコア（独自算出の注目度）: 1.3893859937118993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated semantic complexity estimation remains underexplored in NLP, despite important applications in linguistics and interpretability. This paper defines semantic complexity as the code length required to uniquely specify a text's semantic meaning, and operationalises it via SCAPE-T, an attention-derived metric based on encoder-only transformers. Existing measures either model reader effort (readability, lexical difficulty), which correlates with surface features (word length, syntax), or quantify surface features directly (type-token ratio, word frequency). SCAPE-T targets semantic integration directly by combining three submetrics: (i) inverse-weighted self-focus (token-to-self), (ii) CLS focus (token-to-CLS), and (iii) inter-head redundancy (cosine similarity across heads), using layer-weighted aggregation; data-driven learning is confined to hyperparameter tuning for calibration. Development uses philosophical prose vs. MCTest stories; evaluation is on children's stories vs. technical Wikipedia articles, with pairwise accuracy on contrasts as the primary criterion. Baselines include readability, syntactic/lexical, and LLM-derived measures. SCAPE-T substantially outperforms all tested baselines under word-length control, with a pairwise accuracy of 78.5% (95% bootstrap CI: 76.1-80.4, N=10k pairwise comparisons; +12.7 percentage points over the strongest baseline); without that control, readability heuristics overtake, consistent with their reliance on surface features. On a short-terms abstractness dataset, SCAPE-T also leads. Ablations show each submetric contributes materially. Overall, the results show SCAPE-T isolates conceptual structure from lexical/syntactic confounds better than existing methods, and generalises across two held-out domains.
• Abstract（参考訳）: 意味複雑性の自動推定は、言語学や解釈可能性に重要な応用があるにもかかわらず、NLPでは未解明のままである。 本稿では,テキストの意味を一意に指定するために必要なコード長として意味複雑性を定義し,それをエンコーダのみの変換器をベースとした注意基準であるSCAPE-Tを用いて操作する。 既存の測定基準は、表層の特徴(単語の長さ、構文)と相関するモデルリーダーの努力(可読性、語彙難易度)か、表層の特徴を直接量化する(タイプトケン比、単語頻度)かのいずれかである。 SCAPE-Tは3つのサブメトリックを組み合わせることで、セマンティック統合を直接ターゲットとする。 (i)逆重の自己焦点(自己) (ii)CLSフォーカス(token-to-CLS)、 (3)重み付けアグリゲーションを用いた頭部間冗長性(頭部間のコサイン類似性)、データ駆動学習は校正のためのハイパーパラメータチューニングに限られる。 開発には哲学的な散文とMCTestの物語が使われており、子どもの物語と専門のウィキペディアの記事で評価される。 ベースラインには可読性、統語/語彙、LLMから派生した測度が含まれる。 SCAPE-Tは、ワード長制御下でテストされた全てのベースラインを78.5%(95%ブートストラップCI:76.1-80.4, N=10kペアワイド比較:+12.7ポイント)で大幅に上回っている。 短期的な抽象性データセットでは、SCAPE-Tもリードする。 アブレーションは、各サブメトリックが物質的に寄与することを示している。 以上の結果から,SCAPE-Tは既存の手法よりも語彙/シンタクティック・コンファウンドから概念構造を分離し,二つの領域にまたがって一般化することを示した。

関連論文リスト

• Beyond the Stitching Assumption: A Unified Framework for Multimodal Synthetic Data Evaluation via Semantic Quantization [12.161963465330627]
  マルチモーダル合成データセットのための投影型評価器を提案する。 テキスト・ツー・アトリビュート・コントロールは、ペアリングを中断しながら両方の限界分布を保存する。 Amazon Reviews、Kiva Loans、およびIn Employment Scamデータセットの実験では、このコントロールの下では、モダリティ固有のスコアが高いままである。
  論文  参考訳（メタデータ） (2026-08-26T05:45:59Z)
• GRACE: LLM-Grounded Semantic Metric Spaces for Scalable Mixed-Data Clustering [19.352298911016668]
  GRACEはスケーラブルな混合データクラスタリングのためのフレームワークである。 不均一な値を知識情報記述にマッピングする。 11の競合する手法よりも優れたクラスタリング精度と概念解釈性を実現する。
  論文  参考訳（メタデータ） (2026-08-08T03:14:50Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• Explainable Semantic Textual Similarity via Dissimilar Span Detection [53.32175252285023]
  テキストのペア間で意味的に異なるスパンを識別することを目的として,DSD(Dissimilar Span Detection)タスクを導入する。 これにより、ユーザーはどの特定の単語やトークンが類似度スコアに悪影響を及ぼすかを理解したり、STS依存のダウンストリームタスクのパフォーマンス向上に使用することができる。
  論文  参考訳（メタデータ） (2026-03-22T11:32:31Z)
• Magnitude Matters: a Superior Class of Similarity Metrics for Holistic Semantic Understanding [1.14219428942199]
  本稿では,パラメータフリーで等級対応の類似度尺度を新たに提案し,厳密に評価する。 オーバーラップ類似性(OS)とハイパボリックタンジェント類似性(HTS)という2つの機能を紹介します。 結果が堅牢で一般化可能であることを確認するため,4つの最先端文埋め込みモデルを用いて包括的評価を行った。
  論文  参考訳（メタデータ） (2025-09-12T22:26:15Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [74.11403803488643]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 QASemConsistencyは、人間の判断とよく相関する事実整合性スコアを得られることを示す。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Using Similarity to Evaluate Factual Consistency in Summaries [2.7595794227140056]
  抽象要約器は流動的な要約を生成するが、生成したテキストの事実性は保証されない。 本稿では,ゼロショット事実性評価尺度であるSBERTScoreを提案する。 実験の結果,SBERTScoreでは,各手法の強度が異なることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T15:02:38Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。