論文の概要: Modelling Adjectival Modification Effects on Semantic Plausibility
- arxiv url: http://arxiv.org/abs/2507.21828v1
- Date: Tue, 29 Jul 2025 14:06:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:56.45199
- Title: Modelling Adjectival Modification Effects on Semantic Plausibility
- Title(参考訳): 意味的可塑性に対する形容詞修飾効果のモデル化
- Authors: Anna Golub, Beate Zywietz, Annerose Eichel,
- Abstract要約: 可視性の変化を理解することは、対話生成、常識推論、幻覚検出といったタスクに関係している。
1つの形容詞修飾子で異なる16Kの英文対からなるADEPTチャレンジベンチマークに取り組む。
モデル化実験は,文変換器を用いて概念的に新しい手法を提供し,それらと変換器をベースとしたモデルが手作業で苦労していることを明らかにする。
- 参考スコア(独自算出の注目度): 1.0582505915332339
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: While the task of assessing the plausibility of events such as ''news is relevant'' has been addressed by a growing body of work, less attention has been paid to capturing changes in plausibility as triggered by event modification. Understanding changes in plausibility is relevant for tasks such as dialogue generation, commonsense reasoning, and hallucination detection as it allows to correctly model, for example, ''gentle sarcasm'' as a sign of closeness rather than unkindness among friends [9]. In this work, we tackle the ADEPT challenge benchmark [6] consisting of 16K English sentence pairs differing by exactly one adjectival modifier. Our modeling experiments provide a conceptually novel method by using sentence transformers, and reveal that both they and transformer-based models struggle with the task at hand, and sentence transformers - despite their conceptual alignment with the task - even under-perform in comparison to models like RoBERTa. Furthermore, an in-depth comparison with prior work highlights the importance of a more realistic, balanced evaluation method: imbalances distort model performance and evaluation metrics, and weaken result trustworthiness.
- Abstract(参考訳): 「新しいものは関係している」等の事象の可否を評価する作業は、成長する作業機関によって行われているが、イベント修正によって引き起こされる可否の変化の把握には、あまり注意が払われていない。
可視性の変化を理解することは、対話生成や常識推論、幻覚検出などのタスクにおいて重要であり、例えば'gentle sarcasm'を友人間の不親切というよりも親密な兆候として正しくモデル化することができる[9]。
本研究では,1つの形容詞修飾子で異なる16Kの英文対からなるADEPTチャレンジベンチマーク [6] に取り組む。
本モデル実験は, 文変換器を用いて概念的に新しい手法を提供し, 文変換器と変換器を併用したモデルが手作業に苦しむこと, あるいはRoBERTaのようなモデルと比較した場合, 概念的アライメントにもかかわらず, 文変換器が低性能であることを明らかにする。
さらに、先行研究との詳細な比較では、より現実的でバランスの取れた評価手法の重要性を強調している。
関連論文リスト
- Comateformer: Combined Attention Transformer for Semantic Sentence Matching [11.746010399185437]
本稿では,トランスフォーマーモデルに基づくコンバインド・アテンション・ネットワークという新しい意味文マッチングモデルを提案する。
Comateformer モデルでは,構成特性を持つ新しい変圧器を用いた準アテンション機構を設計する。
提案手法は,双対親和性スコアを計算する際の類似性と相似性(負親和性)の直感に基づく。
論文 参考訳(メタデータ) (2024-12-10T06:18:07Z) - Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
文脈介入の効果を測定するために因果効果推定手法を適用した。
本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
論文 参考訳(メタデータ) (2024-04-03T10:22:35Z) - Sowing the Wind, Reaping the Whirlwind: The Impact of Editing Language Models [19.132597762214722]
大規模な言語モデル(LLM)が重要な研究領域として現れている。
本稿では,モデル編集による修正の複雑な結果について検討する。
この結果から, モデル編集は, トピック・リピートのためのコスト効率のよいツールであることが示唆された。
論文 参考訳(メタデータ) (2024-01-19T11:48:09Z) - In and Out-of-Domain Text Adversarial Robustness via Label Smoothing [64.66809713499576]
多様なNLPタスクの基本モデルにおいて,ラベルの平滑化戦略によって提供される対角的ロバスト性について検討する。
実験の結果,ラベルのスムース化は,BERTなどの事前学習モデルにおいて,様々な攻撃に対して,逆方向の堅牢性を大幅に向上させることがわかった。
また,予測信頼度とロバスト性の関係を解析し,ラベルの平滑化が敵の例に対する過度な信頼誤差を減少させることを示した。
論文 参考訳(メタデータ) (2022-12-20T14:06:50Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-20T15:02:53Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳(メタデータ) (2022-02-21T10:36:09Z) - Harnessing Perceptual Adversarial Patches for Crowd Counting [92.79051296850405]
群衆のカウントは、物理的な世界の敵の例に弱い。
本稿では,モデル間での知覚的特徴の共有を学習するためのPAP(Perceptual Adrial Patch)生成フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-16T13:51:39Z) - Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial
Perturbations [65.05561023880351]
敵の例は誤分類を引き起こすために作られた悪意のある入力である。
本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。
感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
論文 参考訳(メタデータ) (2020-02-11T18:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。