論文の概要: NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
- arxiv url: http://arxiv.org/abs/2603.08256v1
- Date: Mon, 09 Mar 2026 11:25:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:15.83586
- Title: NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
- Title(参考訳): SemEval-2026 Task 5 における NCL-UoR: 単語センスプラウザビリティ評価のための埋め込み法, 微調整, LLM
- Authors: Tong Wu, Thanet Markchom, Huizhi Liang,
- Abstract要約: 単語感覚の可視性評価には、与えられた単語の人間の知覚的可視性を1~5スケールで予測する必要がある。
本稿では,単語知覚の妥当性を予測するための3つのアプローチを体系的に比較する。
最高のパフォーマンスシステムでは、評価を物語コンポーネントに分解する構造化されたプロンプト戦略を採用している。
- 参考スコア(独自算出の注目度): 5.91164076667492
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Word sense plausibility rating requires predicting the human-perceived plausibility of a given word sense on a 1--5 scale in the context of short narrative stories containing ambiguous homonyms. This paper systematically compares three approaches: (1) embedding-based methods pairing sentence embeddings with standard regressors, (2) transformer fine-tuning with parameter-efficient adaptation, and (3) large language model (LLM) prompting with structured reasoning and explicit decision rules. The best-performing system employs a structured prompting strategy that decomposes evaluation into narrative components (precontext, target sentence, ending) and applies explicit decision rules for rating calibration. The analysis reveals that structured prompting with decision rules substantially outperforms both fine-tuned models and embedding-based approaches, and that prompt design matters more than model scale for this task. The code is publicly available at https://github.com/tongwu17/SemEval-2026-Task5.
- Abstract(参考訳): 単語感覚の可視性評価には、曖昧な同義語を含む短い物語の文脈において、与えられた単語感覚の人間の知覚的可視性を1~5スケールで予測する必要がある。
本稿では,(1)文の埋め込みを標準回帰器と組み合わせる埋め込み型手法,(2)パラメータ効率適応による変換器ファインタニング,(3)大規模言語モデル(LLM)の3つの手法を体系的に比較し,構造化推論と明示的決定規則を推し進める。
ベストパフォーマンスシステムは、評価を物語成分(前提文、目標文、終了)に分解する構造化されたプロンプト戦略を採用し、評価校正に明確な決定ルールを適用している。
この分析により、決定ルールによる構造化は、細調整されたモデルと埋め込みベースのアプローチの両方を大幅に上回っており、このタスクのモデルスケールよりも設計の促進が重要であることが明らかになった。
コードはhttps://github.com/tongwu17/SemEval-2026-Task5で公開されている。
関連論文リスト
- VERGE: Formal Refinement and Guidance Engine for Verifiable LLM Reasoning [4.3414302048068745]
本稿では,大規模言語モデルとSMTソルバを組み合わせたニューロシンボリック・フレームワークを提案する。
本稿では,(1)形式的意味的等価性チェックによるマルチモデルコンセンサス,(2)適切な検証戦略に異なるクレーム型を指示するセマンティックルーティング,(3)最小補正サブセットによる正確な論理的エラーローカライゼーション,の3点を紹介する。
GPT-OSS-120Bモデルでは、VERGEはシングルパスアプローチと比較して、一連の推論ベンチマークにおいて平均18.7%の性能向上を示す。
論文 参考訳(メタデータ) (2026-01-27T20:59:11Z) - DiSC-AMC: Token- and Parameter-Efficient Discretized Statistics In-Context Automatic Modulation Classification [19.190236060870184]
大規模言語モデル(LLM)は、微調整なしで、オープンセットで自動変調分類(AMC)を実行することができる。
文脈自動変調分類(DiSC-AMC)における離散統計量について述べる。
DiSC-AMCは、高次の統計と累積をコンパクトなシンボルトークンに識別するトークンおよびパラメータ効率の変種である。
論文 参考訳(メタデータ) (2025-09-30T22:20:57Z) - Vec2Summ: Text Summarization via Probabilistic Sentence Embeddings [2.2029818765681086]
Vec2Summはセマンティック埋め込み空間における1つの平均ベクトルを用いて文書コレクションを表現する。
生成言語モデルを用いて流動的な要約を再構築する。
Vec2Summは、局所的に焦点を絞った順序不変コーパスのためのコヒーレントなサマリーを生成する。
論文 参考訳(メタデータ) (2025-08-09T15:31:02Z) - Syntactic Control of Language Models by Posterior Inference [53.823006836309695]
言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって重要である。
後部推論に基づくサンプリングアルゴリズムは、生成中に対象の選挙区構造を効果的に強制することができると論じる。
提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。
論文 参考訳(メタデータ) (2025-06-08T14:01:34Z) - Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。
結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。
実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
論文 参考訳(メタデータ) (2024-09-30T12:36:25Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - Coherent Entity Disambiguation via Modeling Topic and Categorical
Dependency [87.16283281290053]
従来のエンティティ曖昧化(ED)メソッドは、参照コンテキストと候補エンティティの一致するスコアに基づいて予測を行う、識別パラダイムを採用している。
本稿では,エンティティ予測のコヒーレンス向上を目的とした新しいデザインを備えたEDシステムであるCoherentedを提案する。
我々は、人気EDベンチマークにおいて、平均1.3F1ポイントの改善により、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2023-11-06T16:40:13Z) - Improving the Generalization Ability in Essay Coherence Evaluation
through Monotonic Constraints [22.311428543432605]
コヒーレンス(Coherence)は、テキストの可読性を評価する上で重要な側面であり、2つの主要な要因を通じて評価することができる。
2つの特徴抽出器を持つ回帰モデルからなるコヒーレンススコアリングモデルを提案する。
NLPCC 2023共有タスク7のトラック1で3位となった。
論文 参考訳(メタデータ) (2023-07-25T08:26:46Z) - Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。
また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。
我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
論文 参考訳(メタデータ) (2020-06-05T03:31:49Z) - Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence
Lip-Reading [96.48553941812366]
唇読解は唇運動系列から音声内容を推測することを目的としている。
seq2seqモデルの伝統的な学習プロセスには2つの問題がある。
本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2020-03-09T09:12:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。