論文の概要: A General Framework to Evaluate Methods for Assessing Dimensions of Lexical Semantic Change Using LLM-Generated Synthetic Data

• arxiv url: http://arxiv.org/abs/2503.08042v1
• Date: Tue, 11 Mar 2025 04:48:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:44:27.710254
• Title: A General Framework to Evaluate Methods for Assessing Dimensions of Lexical Semantic Change Using LLM-Generated Synthetic Data
• Title（参考訳）: LLM生成合成データを用いた語彙意味変化の次元評価のための一般的な枠組み
• Authors: Naomi Baes, Raphaël Merx, Nick Haslam, Ekaterina Vylomova, Haim Dubossarsky,
• Abstract要約: レキシカル・セマンティック・チェンジ(Lexical Semantic Change、LSC)は、文化的・社会的ダイナミクスに関する洞察を提供する。 LSC測定のための新しい3段階評価フレームワークを開発した。 このフレームワークは、次元およびドメイン固有のベンチマーキングとLCCメソッドの評価に有用なツールを提供する。
• 参考スコア（独自算出の注目度）: 2.363288258212481
• License:
• Abstract: Lexical Semantic Change (LSC) offers insights into cultural and social dynamics. Yet, the validity of methods for measuring kinds of LSC has yet to be established due to the absence of historical benchmark datasets. To address this gap, we develop a novel three-stage evaluation framework that involves: 1) creating a scalable, domain-general methodology for generating synthetic datasets that simulate theory-driven LSC across time, leveraging In-Context Learning and a lexical database; 2) using these datasets to evaluate the effectiveness of various methods; and 3) assessing their suitability for specific dimensions and domains. We apply this framework to simulate changes across key dimensions of LSC (SIB: Sentiment, Intensity, and Breadth) using examples from psychology, and evaluate the sensitivity of selected methods to detect these artificially induced changes. Our findings support the utility of the synthetic data approach, validate the efficacy of tailored methods for detecting synthetic changes in SIB, and reveal that a state-of-the-art LSC model faces challenges in detecting affective dimensions of LSC. This framework provides a valuable tool for dimension- and domain-specific bench-marking and evaluation of LSC methods, with particular benefits for the social sciences.
• Abstract（参考訳）: レキシカル・セマンティック・チェンジ(Lexical Semantic Change、LSC)は、文化的・社会的ダイナミクスに関する洞察を提供する。 しかし,過去のベンチマークデータセットが欠如しているため,LSCの種類を測定する手法の妥当性は確立されていない。 このギャップに対処するため、我々は以下の3段階評価フレームワークを開発した。 1) 文脈学習と語彙データベースを活用して,理論駆動型LCCを時間をかけてシミュレートする合成データセットを生成する,スケーラブルで汎用的な方法論を作成する。 2)これらのデータセットを用いて,様々な方法の有効性を評価する。 3) 特定次元及び領域に対する適合性の評価。 本枠組みは, 心理の例を用いて, LSC (SIB: Sentiment, Intensity, and Breadth) の鍵次元における変化をシミュレートし, 人工的に誘発された変化を検出するための選択された手法の感度を評価する。 本研究は, 合成データ手法の有用性を実証し, SIBの合成変化を検出するための調整法の有効性を検証し, 現状のLCCモデルがLSCの感情次元を検出する上で課題に直面していることを明らかにする。 このフレームワークは、次元および領域固有のベンチマーキングとLCC手法の評価のための貴重なツールであり、社会科学に特に有用である。

関連論文リスト

• You are out of context! [0.0]
  新しいデータは、モデルによって学習された幾何学的関係を伸ばしたり、圧縮したり、ねじったりする力として振る舞うことができる。 本稿では,ベクトル空間表現における「変形」の概念に基づく機械学習モデルのための新しいドリフト検出手法を提案する。
  論文  参考訳（メタデータ） (2024-11-04T10:17:43Z)
• Systematic Characterization of the Effectiveness of Alignment in Large Language Models for Categorical Decisions [0.0]
  本稿では,大規模言語モデル(LLM)において,医学的トリアージによるカテゴリー決定における選好アライメントを評価するための体系的手法を適用した。 また、アライメント手順が特定のモデルのアライメントをどのように効率的に変更するかを測定する。 その結果、モデル間のアライメントの有効性とアライメントアプローチの相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-18T19:03:04Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• IDA: Informed Domain Adaptive Semantic Segmentation [51.12107564372869]
  クラスレベルのセグメンテーション性能に基づいてデータを混合する自己学習フレームワークであるDomain Informed Adaptation (IDA) モデルを提案する。 IDAモデルでは、クラスレベルの性能を期待信頼スコア(ECS)によって追跡し、動的スケジュールを用いて異なる領域のデータに対する混合比を決定する。 提案手法は,GTA-Vの都市景観への適応において1.1 mIoU,SynTHIAの都市への適応において0.9 mIoUのマージンで,最先端のUDA-SS法よりも優れる。
  論文  参考訳（メタデータ） (2023-03-05T18:16:34Z)
• Latent Properties of Lifelong Learning Systems [59.50307752165016]
  本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。 合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
  論文  参考訳（メタデータ） (2022-07-28T20:58:13Z)
• GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot Learning [55.79997930181418]
  Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。 生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。 本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-05T04:04:37Z)
• Style-Hallucinated Dual Consistency Learning for Domain Generalized Semantic Segmentation [117.3856882511919]
  本稿では、ドメインシフトを処理するためのStyle-HAllucinated Dual consistEncy Learning(SHADE)フレームワークを提案する。 SHADEは3つの実世界のデータセットの平均mIoUに対して5.07%と8.35%の精度で改善し、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2022-04-06T02:49:06Z)
• Supply of engineering techniques and software design patterns in psychoanalysis and psychometrics sciences [0.0]
  本研究の目的は、心理療法におけるCBT法(認知行動療法)の弱点を改善するために、ソフトウェア技術、モデル、人工知能アルゴリズムを導入することである。 本研究の目的は、隠れた人間の変数が検査結果から推測される心理測定実験の実装である。
  論文  参考訳（メタデータ） (2021-08-16T08:36:37Z)
• Semantics Altering Modifications for Evaluating Comprehension in Machine Reading [1.1355639618103164]
  機械読解モデルがセマンティック・アターリング・モディフィケーションを正しく処理できるかどうかを検討する。 本稿では,原例と変更例を特徴とするチャレンジセットを自動生成・調整する手法を提案する。 本手法を用いて,SAMデータを正しく処理する能力について,MRCモデルを評価する。
  論文  参考訳（メタデータ） (2020-12-07T21:00:42Z)
• SAMBA: Safe Model-Based & Active Reinforcement Learning [59.01424351231993]
  SAMBAは、確率論的モデリング、情報理論、統計学といった側面を組み合わせた安全な強化学習のためのフレームワークである。 我々は,低次元および高次元の状態表現を含む安全な力学系ベンチマークを用いて,アルゴリズムの評価を行った。 アクティブなメトリクスと安全性の制約を詳細に分析することで,フレームワークの有効性を直感的に評価する。
  論文  参考訳（メタデータ） (2020-06-12T10:40:46Z)
• Learning Similarity Metrics for Numerical Simulations [29.39625644221578]
  本稿では,様々な数値シミュレーションソースから得られるデータを比較するため,安定かつ一般化された指標(LSiM)をニューラルネットワークで計算する手法を提案する。 提案手法は,計量の数学的性質を動機としたシームズネットワークアーキテクチャを用いている。
  論文  参考訳（メタデータ） (2020-02-18T20:11:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。