論文の概要: Are Lexicon-Based Tools Still the Gold Standard for Valence Analysis in Low-Resource Flemish?

• arxiv url: http://arxiv.org/abs/2506.04139v1
• Date: Wed, 04 Jun 2025 16:31:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.467156
• Title: Are Lexicon-Based Tools Still the Gold Standard for Valence Analysis in Low-Resource Flemish?
• Title（参考訳）: レキシコンベースのツールは、低リソースのフレミッシュにおける価値分析のゴールドスタンダードのままか?
• Authors: Ratna Kandala, Katie Hoemann,
• Abstract要約: LIWCやPatternといった従来のレキシコンベースのツールは、長い間この領域の基本的な道具として機能してきた。 オランダ語話者102名を対象に,まず約25,000件のテキスト応答について検討した。 オランダ固有の3つのLLMの性能評価を行い, LIWCとPatternで生成した値と比較した。 本研究は,自然言語使用の複雑さを包括的に扱える,文化的・言語学的にカスタマイズされたモデル・ツールの開発に不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding the nuances in everyday language is pivotal for advancements in computational linguistics & emotions research. Traditional lexicon-based tools such as LIWC and Pattern have long served as foundational instruments in this domain. LIWC is the most extensively validated word count based text analysis tool in the social sciences and Pattern is an open source Python library offering functionalities for NLP. However, everyday language is inherently spontaneous, richly expressive, & deeply context dependent. To explore the capabilities of LLMs in capturing the valences of daily narratives in Flemish, we first conducted a study involving approximately 25,000 textual responses from 102 Dutch-speaking participants. Each participant provided narratives prompted by the question, "What is happening right now and how do you feel about it?", accompanied by self-assessed valence ratings on a continuous scale from -50 to +50. We then assessed the performance of three Dutch-specific LLMs in predicting these valence scores, and compared their outputs to those generated by LIWC and Pattern. Our findings indicate that, despite advancements in LLM architectures, these Dutch tuned models currently fall short in accurately capturing the emotional valence present in spontaneous, real-world narratives. This study underscores the imperative for developing culturally and linguistically tailored models/tools that can adeptly handle the complexities of natural language use. Enhancing automated valence analysis is not only pivotal for advancing computational methodologies but also holds significant promise for psychological research with ecologically valid insights into human daily experiences. We advocate for increased efforts in creating comprehensive datasets & finetuning LLMs for low-resource languages like Flemish, aiming to bridge the gap between computational linguistics & emotion research.
• Abstract（参考訳）: 日常言語におけるニュアンスを理解することは、計算言語学と感情研究の進歩に欠かせない。 LIWCやPatternといった従来のレキシコンベースのツールは、長い間この領域の基本的な道具として機能してきた。 LIWCは社会科学で最も広く検証されている単語数ベースのテキスト分析ツールであり、PatternはオープンソースのPythonライブラリであり、NLPの機能を提供している。 しかし、日常言語は本質的に自然であり、豊かで表現力があり、文脈に依存している。 本研究は,オランダ語話者102名を対象に,まず,約25,000件の文章応答に関する調査を行った。 参加者はそれぞれ,“今何が起きているのか,どのように感じているのか?”という質問をきっかけに,自己評価された評価値が-50から+50の連続的な評価を伴って,ストーリを提供した。 次に、オランダ固有の3つのLLMの性能評価を行い、その出力をLIWCとPatternで生成されたものと比較した。 LLMアーキテクチャの進歩にもかかわらず、これらのオランダ調律モデルは現在、自然界の物語に現われる感情的価値を正確に把握するに足りていない。 本研究は,自然言語使用の複雑さを包括的に扱える,文化的・言語学的にカスタマイズされたモデル・ツールの開発に不可欠であることを示す。 自動原子価分析の実施は、計算方法論の進歩に重要なだけでなく、人間の日常体験に対する生態学的に有効な洞察を持つ心理学的な研究にも重要な可能性を秘めている。 我々は、計算言語学と感情研究のギャップを埋めることを目的として、Flemishのような低リソース言語のための包括的データセットの作成とLLMの微調整の取り組みを強化することを提唱する。

関連論文リスト

• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Unraveling the Dominance of Large Language Models Over Transformer Models for Bangla Natural Language Inference: A Comprehensive Study [0.0]
  自然言語推論(NLI)は自然言語処理(NLP)の基盤である 本研究では,ベンガル語のような低リソース言語におけるLLM(Large Language Models)の評価について検討した。
  論文  参考訳（メタデータ） (2024-05-05T13:57:05Z)
• PhonologyBench: Evaluating Phonological Skills of Large Language Models [57.80997670335227]
  音声学は、音声の構造と発音規則の研究であり、Large Language Model (LLM) 研究において批判的であるが、しばしば見落とされがちな要素である。 LLMの音韻的スキルを明示的にテストするための3つの診断タスクからなる新しいベンチマークであるPhonologyBenchを提案する。 我々は,Rhyme Word GenerationとSyllable countingにおいて,人間と比較した場合,それぞれ17%と45%の有意なギャップを観察した。
  論文  参考訳（メタデータ） (2024-04-03T04:53:14Z)
• Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study [3.0059120458540383]
  対話型大言語モデル(LLM)が生成するテキストの語彙的リッチ性の評価と,それがモデルパラメータにどのように依存するかを検討する。 その結果、語彙豊かさがChatGPTのバージョンと、そのパラメータのいくつか、例えば存在ペナルティやモデルに割り当てられた役割にどのように依存しているかが示される。
  論文  参考訳（メタデータ） (2024-02-11T13:41:17Z)
• Natural Language Processing for Dialects of a Language: A Survey [56.93337350526933]
  最先端自然言語処理(NLP)モデルは、大規模なトレーニングコーパスでトレーニングされ、評価データセットで最上位のパフォーマンスを報告します。 この調査は、これらのデータセットの重要な属性である言語の方言を掘り下げる。 方言データセットにおけるNLPモデルの性能劣化と言語技術のエクイティへのその影響を動機として,我々はデータセットやアプローチの観点から,方言に対するNLPの過去の研究を調査した。
  論文  参考訳（メタデータ） (2024-01-11T03:04:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。