論文の概要: Span Modeling for Idiomaticity and Figurative Language Detection with Span Contrastive Loss
- arxiv url: http://arxiv.org/abs/2603.22799v1
- Date: Tue, 24 Mar 2026 04:45:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-25 19:53:37.31288
- Title: Span Modeling for Idiomaticity and Figurative Language Detection with Span Contrastive Loss
- Title（参考訳）: 音韻性と表現型言語検出のためのスパンモデル
- Authors: Blake Matheny, Phuong Minh Nguyen, Minh Le Nguyen,
- Abstract要約: 比喩言語のカテゴリーには多くの種類があり、そのうちのいくつかは本質的に非構成的である。
言語モデルでは、トークン化と隣接したコンテキスト埋め込みが原因で、ユニークな問題が発生する。
スロット損失とコントラスト損失を組み合わせたBERTモデルとRoBERTaモデルを提案する。
- 参考スコア（独自算出の注目度）: 0.7373617024876724
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The category of figurative language contains many varieties, some of which are non-compositional in nature. This type of phrase or multi-word expression (MWE) includes idioms, which represent a single meaning that does not consist of the sum of its words. For language models, this presents a unique problem due to tokenization and adjacent contextual embeddings. Many large language models have overcome this issue with large phrase vocabulary, though immediate recognition frequently fails without one- or few-shot prompting or instruction finetuning. The best results have been achieved with BERT-based or LSTM finetuning approaches. The model in this paper contains one such variety. We propose BERT- and RoBERTa-based models finetuned with a combination of slot loss and span contrastive loss (SCL) with hard negative reweighting to improve idiomaticity detection, attaining state of the art sequence accuracy performance on existing datasets. Comparative ablation studies show the effectiveness of SCL and its generalizability. The geometric mean of F1 and sequence accuracy (SA) is also proposed to assess a model's span awareness and general performance together.
- Abstract（参考訳）: 比喩言語のカテゴリーには多くの種類があり、そのうちのいくつかは本質的に非構成的である。
このタイプのフレーズまたはマルチワード表現(MWE)は、その単語の総和を含まない単一の意味を表すイディオムを含む。
言語モデルでは、トークン化と隣接したコンテキスト埋め込みが原因で、ユニークな問題が発生する。
多くの大きな言語モデルは、大きな句の語彙でこの問題を克服してきたが、即時認識はワンショットのプロンプトや命令の微調整なしにしばしば失敗する。
最高の結果はBERTベースまたはLSTMファインタニングアプローチによって達成されている。
本論文のモデルにはそのような種類が1つ含まれている。
本稿では,スロットロスとスパントラッシブロス(SCL)を併用したBERTとRoBERTaに基づくモデルを提案する。
比較アブレーション研究は、SCLの有効性とその一般化可能性を示している。
F1の幾何学的平均とシーケンス精度(SA)も提案され、モデルのスパン認識と一般的な性能を同時に評価する。
関連論文リスト
- Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts [2.519319150166215]
本研究では,現在最先端の言語モデルが,潜在的に慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。
大きな言語モデルは、その強みにも拘わらず、ニュアンスド言語に苦戦している。
論文 参考訳（メタデータ） (2025-04-10T16:39:28Z) - Enhancing Idiomatic Representation in Multiple Languages via an Adaptive Contrastive Triplet Loss [9.807885676930308]
本稿では, 単語の非対称的な寄与を取り入れた三重項損失を用いた慣用性モデルを提案する。
提案手法はSemEvalの課題に基づいて評価され,多くの指標において従来の手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T14:21:41Z) - Rethinking Masked Language Modeling for Chinese Spelling Correction [70.85829000570203]
言語モデルと誤りモデルという2つの異なるモデルによる共同決定として,中国語のスペル補正(CSC)について検討する。
細調整されたBERTは、言語モデルに不適合なままエラーモデルに過度に適合する傾向にあり、その結果、分布外エラーパターンへの一般化が不十分であることがわかった。
微調整中に入力シーケンスから20%の非エラートークンをランダムにマスキングする非常に単純な戦略は、エラーモデルを犠牲にすることなく、はるかに優れた言語モデルを学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2023-05-28T13:19:12Z) - CompoundPiece: Evaluating and Improving Decompounding Performance of
Language Models [77.45934004406283]
複合語を構成語に分割する作業である「分解」を体系的に研究する。
We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。
分割のための専用モデルを訓練するための新しい手法を導入する。
論文 参考訳（メタデータ） (2023-05-23T16:32:27Z) - Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。
我々は,単語順序の重要性を維持するために強制的無効化を提案する。
実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文 参考訳（メタデータ） (2023-04-11T13:42:10Z) - Improving Pre-trained Language Model Fine-tuning with Noise Stability
Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。
具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。
提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-06-12T04:42:49Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳（メタデータ） (2021-11-04T12:59:55Z) - AStitchInLanguageModels: Dataset and Methods for the Exploration of
Idiomaticity in Pre-Trained Language Models [7.386862225828819]
本研究は、MWEを含む自然発生文のデータセットを、細かな意味の集合に手作業で分類する。
我々は,このデータセットを,idiomを含む文の表現生成における言語モデルの有効性と,idiomを用いた言語モデルの有効性を検証するために,2つのタスクで使用する。
論文 参考訳（メタデータ） (2021-09-09T16:53:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。