論文の概要: Cross-Dataset Stability of Expert-Informed Skill Prompting and Fine-Tuning for Chinese Metaphor Identification

• arxiv url: http://arxiv.org/abs/2608.25579v1
• Date: Wed, 26 Aug 2026 09:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.722275
• Title: Cross-Dataset Stability of Expert-Informed Skill Prompting and Fine-Tuning for Chinese Metaphor Identification
• Title（参考訳）: 中国メタファー識別のためのエキスパートインフォームドスキルプロンプトとファインチューニングのクロスデータセット安定性
• Abstract要約: 固定された専門家インフォームドプロシージャがタスク固有のパラメータ適応よりもさらにクロスデータセットプロファイルを生成するかどうかを検討する。 本研究は,中国語文レベルの比喩識別のクロスデータセット評価において,専門家インフォームドプロシージャスキルとタスク固有の微調整を比較した最初の研究である。
• 参考スコア（独自算出の注目度）: 2.3756658891009055
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metaphor-identification performance can change markedly across datasets that differ in text distribution and annotation policy. We examine whether a fixed expert-informed procedure produces a more even cross-dataset profile than task-specific parameter adaptation. Four prespecified conditions are compared for Chinese sentence-level metaphor identification: BERT fine-tuning (BERT-FT), QLoRA-based large language model fine-tuning (LLM-FT), direct zero-shot LLM prompting (LLM-ZS), and zero-shot prompting with a frozen procedural Skill (Skill-ZS). The Skill operationalizes established criteria involving contextual meaning, basic meaning, contrast, and comparison. Evaluation covers CMRE Test and two external datasets, CCIME and CMC. Fine-tuned scores are means over three seeds, whereas each zero-shot score comes from one deterministic configuration. Fine-tuning remains strongest on the native test set: BERT-FT reaches 91.76 Macro-F1. LLM-FT has the highest external mean (83.52), while Skill-ZS is close at 82.92 and has both the highest external floor (82.64) and the smallest observed range across all three datasets (4.08 points). In the matched zero-shot comparison, adding the Skill reduces metaphorical predictions on every dataset. This sharply lowers false positives on CCIME but increases false negatives on CMRE Test and CMC. The results position expert-informed Skill prompting as a complementary route to more even observed cross-dataset performance, while fine-tuning retains its advantage in native-data accuracy. To our knowledge, this is the first study to compare an expert-informed procedural Skill with task-specific fine-tuning in the same cross-dataset evaluation of Chinese sentence-level metaphor identification.
• Abstract（参考訳）: メタファー識別のパフォーマンスは、テキストの配布とアノテーションポリシーが異なるデータセット間で著しく変化する可能性がある。 固定された専門家インフォームドプロシージャがタスク固有のパラメータ適応よりもさらにクロスデータセットプロファイルを生成するかどうかを検討する。 BERTファインタニング(BERT-FT)、QLoRAベースの大規模言語モデルファインタニング(LLM-FT)、直接ゼロショットLDMプロンプト(LLM-ZS)、凍結プロシージャスキル(スキル-ZS)の4つの条件を比較した。 スキルは、文脈的意味、基本的な意味、コントラスト、比較を含む確立された基準を運用する。 CMREテストとCCIMEとCMCの2つの外部データセットについて評価する。 微調整スコアは3つの種以上の意味を持つが、ゼロショットスコアは1つの決定論的構成から得られる。 BERT-FTは91.76マクロF1に達する。 LLM-FTは最も高い外部平均値(83.52)を持ち、Skill-ZSは82.92であり、最も高い外部フロア(82.64)と最も小さい3つのデータセット(4.08ポイント)の両方を持つ。 一致したゼロショット比較では、Skillを追加することで、データセット毎に比喩的な予測が削減される。 これはCCIMEの偽陽性を著しく下げるが、CMREテストとCMCでは偽陰性を増加させる。 その結果、専門家にインフォームドされたスキルは、より観測されたクロスデータセットのパフォーマンスを補完するルートとして促進される一方、微調整はネイティブデータの精度においてその優位性を維持している。 我々の知る限り、中国語の文レベルの比喩識別のクロスデータセット評価において、専門家によるプロシージャスキルとタスク固有の微調整を比較した最初の研究である。

関連論文リスト

• Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification [1.5977080543655726]
  動詞化のような一般的なアプローチは、非常にスパースな出力を生み出す。 Qwen3-32B は SST-2 上では8つのユニークな信頼値しか言語化せず、半分以上は正確に95%である。 余分な推論コストを伴わずに,空白度と最良なAUARC(+2.3点)に対処する。
  論文  参考訳（メタデータ） (2026-08-05T14:24:34Z)
• On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance [0.7303825588015752]
  そこで本研究では,ユーザが提供する命令とモデルインターナライズドプリエントがどのように相互作用するかを検討する。 ゼロショット誤差の3分の2近くが修正に抵抗していることが判明した。 高信頼誤差は特に修正に耐性がある。
  論文  参考訳（メタデータ） (2026-05-30T01:21:14Z)
• Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
  本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。 我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
  論文  参考訳（メタデータ） (2026-01-27T08:42:54Z)
• Beyond Literal Mapping: Benchmarking and Improving Non-Literal Translation Evaluation [57.11989521509119]
  本稿では,特殊なサブエージェントを起動するリフレクティブコアエージェントを中心に,エージェント翻訳評価フレームワークを提案する。 実験の結果、RATEの有効性が示され、現在の測定値と比較して少なくとも3.2メタスコアの改善が達成された。
  論文  参考訳（メタデータ） (2026-01-12T09:03:42Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• ETM: Modern Insights into Perspective on Text-to-SQL Evaluation in the Age of Large Language Models [8.618945530676614]
  Execution Accuracy (EXE) と Exact Set Matching Accuracy (ESM) は、パフォーマンスを誤って表現できる固有の制限に悩まされている。 我々は,構文的要素と意味的要素の両方を用いてクエリを比較することで,これらの問題を緩和する新しい指標ETM(Enhanced Tree Matching)を導入する。 ETM と ESM は23.0% と 28.9% の偽陽性と負の比率を産出でき、EMM はそれぞれ 0.3% と 2.7% に減少する。
  論文  参考訳（メタデータ） (2024-07-10T02:20:19Z)
• Machine Translation Meta Evaluation through Translation Accuracy Challenge Sets [92.38654521870444]
  ACESは146の言語ペアにまたがる対照的な課題セットです。 このデータセットは、メトリクスが68の翻訳精度の誤差を識別できるかどうかを調べることを目的としている。 我々は、WMT2022および2023のメトリクス共有タスクに提出された50のメトリクスに対して、ACESをベンチマークすることで、大規模な研究を行う。
  論文  参考訳（メタデータ） (2024-01-29T17:17:42Z)
• Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
  大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。 ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
  論文  参考訳（メタデータ） (2023-05-24T06:55:09Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• IDIAPers @ Causal News Corpus 2022: Efficient Causal Relation Identification Through a Prompt-based Few-shot Approach [3.4423596432619754]
  我々は、微調整言語モデル(LM)のための単純だが相補的手法のセットを活用することで、因果関係同定(CRI)タスクに対処する。 我々は、CRIタスクをマスキング言語モデリング問題(MLM)として扱う微調整LMのプロンプトベースの予測手法に従う。 本手法の性能を,データセット全体で訓練されたアンサンブル手法と比較する。
  論文  参考訳（メタデータ） (2022-09-08T16:03:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。