論文の概要: Surprisal and Metaphor Novelty: Moderate Correlations and Divergent Scaling Effects
- arxiv url: http://arxiv.org/abs/2601.02015v1
- Date: Mon, 05 Jan 2026 11:24:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-06 16:25:23.03709
- Title: Surprisal and Metaphor Novelty: Moderate Correlations and Divergent Scaling Effects
- Title（参考訳）: 副次的・メタファー的新奇性:適度な相関と発散性スケーリング効果
- Authors: Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß,
- Abstract要約: 本研究では,言語モデルにおける予測可能性の確率的尺度である仮定がメタファの新規性データセットと相関するかどうかを考察する。
我々は、コーパスベースおよび合成メタファーノベルティデータセットに基づく16のLM変種から予備解析を行った。
- 参考スコア（独自算出の注目度）: 9.85813493536013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Novel metaphor comprehension involves complex semantic processes and linguistic creativity, making it an interesting task for studying language models (LMs). This study investigates whether surprisal, a probabilistic measure of predictability in LMs, correlates with different metaphor novelty datasets. We analyse surprisal from 16 LM variants on corpus-based and synthetic metaphor novelty datasets. We explore a cloze-style surprisal method that conditions on full-sentence context. Results show that LMs yield significant moderate correlations with scores/labels of metaphor novelty. We further identify divergent scaling patterns: on corpus-based data, correlation strength decreases with model size (inverse scaling effect), whereas on synthetic data it increases (Quality-Power Hypothesis). We conclude that while surprisal can partially account for annotations of metaphor novelty, it remains a limited metric of linguistic creativity.
- Abstract（参考訳）: 新しいメタファーの理解には複雑な意味過程と言語的創造性が含まれており、言語モデル(LM)を研究するための興味深いタスクとなっている。
本研究は,LMの予測可能性の確率的尺度である推定値が,メタファの新規性データセットと相関するかどうかを考察する。
我々は、コーパスベースおよび合成メタファーノベルティデータセットに基づく16のLM変種から予備解析を行った。
そこで本研究では,全文文脈で条件を定めているクローゼスタイルの補題法について検討する。
その結果, LMは比喩的新奇さのスコアやラベルと有意な相関関係を示した。
さらに、コーパスベースのデータでは、相関強度がモデルサイズ(逆スケーリング効果)とともに減少するのに対し、合成データでは増加する(Quality-Power hypothesis)。
仮称ノベルティの注釈を部分的に説明できるが、言語的創造性には限界があると結論付けている。
関連論文リスト
- Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics
Interface of LMs Through Agentivity [68.8204255655161]
このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。
これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T16:24:01Z) - Understanding and Mitigating Spurious Correlations in Text
Classification with Neighborhood Analysis [69.07674653828565]
機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。
本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。
本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
論文 参考訳（メタデータ） (2023-05-23T03:55:50Z) - Attention-likelihood relationship in transformers [2.8304391396200064]
我々は、大言語モデル(LLM)が文脈外単語をどのように表現しているかを分析し、その意味を捉えるために、与えられた文脈への依存を調査する。
我々の可能性誘導型テキスト摂動は、トランスフォーマーベース言語モデルにおけるトークン確率と注意値の相関関係を明らかにする。
論文 参考訳（メタデータ） (2023-03-15T00:23:49Z) - Measure More, Question More: Experimental Studies on Transformer-based
Language Models and Complement Coercion [2.1320960069210484]
トランスフォーマーベースの言語モデルは、自然言語理解タスクの配列に強いパフォーマンスを示している。
補体強制現象を用いて,これらのモデルが暗黙の意味にどのように反応するかを検討する。
論文 参考訳（メタデータ） (2022-12-20T18:46:20Z) - WMDecompose: A Framework for Leveraging the Interpretable Properties of
Word Mover's Distance in Sociocultural Analysis [0.0]
妥当性と解釈可能性のバランスをとる一般的なモデルは、Word Mover's Distance (WMD)である。
WMDecomposeは、文書レベル距離を構成語レベル距離に分解し、その後、単語をクラスタ化してテーマ要素を誘導するモデルおよびPythonライブラリである。
論文 参考訳（メタデータ） (2021-10-14T13:04:38Z) - Shaking Syntactic Trees on the Sesame Street: Multilingual Probing with
Controllable Perturbations [2.041108289731398]
近年の研究では、テキスト摂動の概念を中心とした新しい実験分野が採用されている。
近年の研究では、シャッフル語順がトランスフォーマーベースの言語モデルの下流性能にほとんど影響しないことが明らかになっている。
論文 参考訳（メタデータ） (2021-09-28T20:15:29Z) - Did the Cat Drink the Coffee? Challenging Transformers with Generalized
Event Knowledge [59.22170796793179]
Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。
以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。
しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
論文 参考訳（メタデータ） (2021-07-22T20:52:26Z) - Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。
モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。
要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文 参考訳（メタデータ） (2020-10-15T16:57:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。