論文の概要: VakyArth: Evaluating Pragmatic Competence in LLMs across Indic Languages
- arxiv url: http://arxiv.org/abs/2609.01788v1
- Date: Tue, 01 Sep 2026 19:00:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:17.925055
- Title: VakyArth: Evaluating Pragmatic Competence in LLMs across Indic Languages
- Title（参考訳）: VakyArth: 言語横断LLMにおける実用的能力の評価
- Abstract要約: Indic言語の最初の実用的なベンチマークであるVakyArthを紹介します。
VakyArthは、デキス、音声行為、不適応、社会的実用、コヒーレンスという5つの現象のモデルを評価する。
自動翻訳のメトリクスは、流動性に欠けるが実用的でないアウトプットを見逃す可能性があることを示す。
- 参考スコア（独自算出の注目度）: 6.468608052089483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Real-world communication often requires pragmatic reasoning: interpreting meanings implied through context and cultural convention rather than stated literally. Existing pragmatic evaluation remains largely limited to English and high-resource languages, leaving Indic languages unexplored despite their linguistic and cultural diversity. We introduce VakyArth, the first pragmatic benchmark for Indic languages, designed as a diagnostic evaluation covering Hindi, Punjabi, Tamil, and Malayalam. VakyArth evaluates models across five phenomena: deixis, speech acts, implicature, social pragmatics, and coherence; through multiple-choice questions, natural language inference, and translation, with all items authored by native speakers. Across multilingual large language models (LLMs) of varying families and sizes, we find consistent failures on pragmatic meanings rooted in Indic linguistic and cultural conventions. Our analysis shows systematic differences across languages and tasks: MCQ accuracy exceeds NLI accuracy in all model-language combinations, translation performance does not reliably track pragmatic understanding, and Indo-Aryan languages show a translation advantage over Dravidian languages. We further show that automatic translation metrics can miss fluent but pragmatically unfaithful outputs, especially for implicature and deixis.
- Abstract（参考訳）: 実世界のコミュニケーションは、しばしば実践的な推論を必要とする:文字通り記述されるのではなく、文脈や文化的な慣習を通して意味を解釈する。
既存の実用的評価は英語と高資源言語に限られており、言語的・文化的多様性にもかかわらず、インド語は未探索のままである。
我々は,ヒンディー語,パンジャービ語,タミル語,マラヤラム語を対象とする診断評価として設計された,Indic言語の最初の実用的ベンチマークであるVakyArthを紹介した。
VakyArthは5つの現象のモデルを評価している:deixis, speech act, implicature, social pragmatics, and coherence; 複数選択の質問、自然言語推論、翻訳。
多言語多言語大言語モデル(LLM)は,言語や文化の慣行に根ざした実践的意味に一貫した失敗を見出した。
MCQ精度はすべてのモデル言語の組み合わせにおいてNLI精度を超え、翻訳性能は実用的理解を確実に追跡せず、インド・アーリア語はドラヴィダ語よりも翻訳の優位性を示している。
さらに、自動翻訳メトリクスは、特に不適応やデキシスにおいて、流動性に欠けるが現実的に不誠実なアウトプットを見逃すことも示している。
関連論文リスト
- Moral Semantics Survive Machine Translation: Cross-Lingual Evidence from Moral Foundations Corpora [0.6091702876917279]
道徳的言語は微妙で文化的に変化しており、言語間で忠実に翻訳することは困難である。
直訳は、言語間機械学習によって得られる微妙な道徳的手がかりを十分に保っていることを示す。
我々はポーランド語をスラヴ語の代表として示し、関連する言語への一般化を期待する。
論文 参考訳（メタデータ） (2026-05-21T16:02:15Z) - When Words Don't Mean What They Say: Figurative Understanding in Bengali Idioms [1.5840067220859924]
大規模言語モデル(LLM)にとって、図形言語理解は依然として重要な課題である。
我々は,10,361個のベンガルイディオムからなる大規模かつ文化的基盤を持つ新しいイディオムデータセットを導入する。
各イディオムは、包括的な19フィールドスキーマの下で注釈付けされ、熟考専門家の合意プロセスを通じて確立され、洗練される。
図形的意味を推定する作業において,30の最先端の多言語言語と命令調整型LLMを評価した。
論文 参考訳（メタデータ） (2026-02-13T13:26:11Z) - When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。
共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。
従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
論文 参考訳（メタデータ） (2026-01-30T11:23:01Z) - PragExTra: A Multilingual Corpus of Pragmatic Explicitation in Translation [12.24429799706733]
我々はPragExTraを紹介した。PragExTraは実用的明示のための最初の多言語コーパスと検出フレームワークである。
本研究は,Nullアライメントを用いて候補明示症例を特定し,人間のアノテーションを用いた能動的学習を用いて精査した。
その結果,エンティティとシステムレベルの明示が最も頻度が高いことがわかった。
論文 参考訳（メタデータ） (2025-11-04T16:44:57Z) - From Polyester Girlfriends to Blind Mice: Creating the First Pragmatics Understanding Benchmarks for Slovene [0.12277343096128711]
我々はSloPragEvalとSloPragMegaを紹介した。
本稿では,翻訳の難しさについて論じ,人間のベースラインを確立するためのキャンペーンについて述べるとともに,パイロット評価をLCMで報告する。
以上の結果から,現在のモデルではニュアンス言語理解が大幅に改善されているものの,非文節発話におけるインプリート話者の意味を推測できない可能性が示唆された。
論文 参考訳（メタデータ） (2025-10-24T15:43:42Z) - Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。
文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
論文 参考訳（メタデータ） (2025-05-23T02:46:18Z) - Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。
Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。
我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。
全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
論文 参考訳（メタデータ） (2023-05-25T15:30:31Z) - CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。
CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。
言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
論文 参考訳（メタデータ） (2022-11-04T12:56:12Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。
その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。
本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
論文 参考訳（メタデータ） (2020-04-09T19:50:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。