論文の概要: When Words Don't Mean What They Say: Figurative Understanding in Bengali Idioms

• arxiv url: http://arxiv.org/abs/2602.12921v1
• Date: Fri, 13 Feb 2026 13:26:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.965804
• Title: When Words Don't Mean What They Say: Figurative Understanding in Bengali Idioms
• Title（参考訳）: ベンガル語で語られる言葉が意味をなさないとき
• Authors: Adib Sakhawat, Shamim Ara Parveen, Md Ruhul Amin, Shamim Al Mahmud, Md Saiful Islam, Tahera Khatun,
• Abstract要約: 大規模言語モデル(LLM)にとって、図形言語理解は依然として重要な課題である。 我々は,10,361個のベンガルイディオムからなる大規模かつ文化的基盤を持つ新しいイディオムデータセットを導入する。 各イディオムは、包括的な19フィールドスキーマの下で注釈付けされ、熟考専門家の合意プロセスを通じて確立され、洗練される。 図形的意味を推定する作業において,30の最先端の多言語言語と命令調整型LLMを評価した。
• 参考スコア（独自算出の注目度）: 1.5840067220859924
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Figurative language understanding remains a significant challenge for Large Language Models (LLMs), especially for low-resource languages. To address this, we introduce a new idiom dataset, a large-scale, culturally-grounded corpus of 10,361 Bengali idioms. Each idiom is annotated under a comprehensive 19-field schema, established and refined through a deliberative expert consensus process, that captures its semantic, syntactic, cultural, and religious dimensions, providing a rich, structured resource for computational linguistics. To establish a robust benchmark for Bangla figurative language understanding, we evaluate 30 state-of-the-art multilingual and instruction-tuned LLMs on the task of inferring figurative meaning. Our results reveal a critical performance gap, with no model surpassing 50% accuracy, a stark contrast to significantly higher human performance (83.4%). This underscores the limitations of existing models in cross-linguistic and cultural reasoning. By releasing the new idiom dataset and benchmark, we provide foundational infrastructure for advancing figurative language understanding and cultural grounding in LLMs for Bengali and other low-resource languages.
• Abstract（参考訳）: フィギュラティブ言語理解は、特に低リソース言語において、LLM(Large Language Models)にとって重要な課題である。 そこで我々は,10,361個のベンガルイディオムを大規模かつ文化的に接地した新しいイディオムデータセットを提案する。 それぞれのイディオムは包括的な19フィールドのスキーマの下で注釈付けされ、議論的な専門家による合意プロセスを通じて確立され、その意味、統語、文化的、宗教的次元を捉え、計算言語学のリッチで構造化された資源を提供する。 そこで,Bangla図形言語理解のためのロバストなベンチマークを構築するために,30の最先端の多言語言語と命令調整型LLMを,図形的意味を推定するタスクで評価した。 以上の結果から, モデルが50%を超えることはなく, 人的性能(83.4%)が著しく高いのに対し, 重要な性能差がみられた。 これは、言語間および文化的な推論において、既存のモデルの限界を浮き彫りにする。 新たなイディオムデータセットとベンチマークをリリースすることにより、ベンガルや他の低リソース言語のためのLLMにおいて、図形言語理解と文化基盤を向上するための基盤となる基盤を提供する。

関連論文リスト

• BengaliFig: A Low-Resource Challenge for Figurative and Culturally Grounded Reasoning in Bengali [0.0]
  コンパクトでリッチな注釈付き挑戦集合であるBengaliFigを提示する。 データセットには、ベンガルの口頭と文学の伝統から採られた435のユニークな謎が含まれている。 各項目は、推論タイプ、トラップタイプ、文化的深さ、回答カテゴリ、難易度を5次元にアノテートする。
  論文  参考訳（メタデータ） (2025-11-25T15:26:47Z)
• From Polyester Girlfriends to Blind Mice: Creating the First Pragmatics Understanding Benchmarks for Slovene [0.12277343096128711]
  我々はSloPragEvalとSloPragMegaを紹介した。 本稿では,翻訳の難しさについて論じ,人間のベースラインを確立するためのキャンペーンについて述べるとともに,パイロット評価をLCMで報告する。 以上の結果から,現在のモデルではニュアンス言語理解が大幅に改善されているものの,非文節発話におけるインプリート話者の意味を推測できない可能性が示唆された。
  論文  参考訳（メタデータ） (2025-10-24T15:43:42Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• Multi-lingual and Multi-cultural Figurative Language Understanding [69.47641938200817]
  図形言語は人間のコミュニケーションに浸透するが、NLPでは比較的過小評価されている。 Hindi, Indonesian, Javanese, Kannada, Sundanese, Swahili, Yorubaの7つの多様な言語に関するデータセットを作成しました。 我々のデータセットから,各言語は,同じ領域から派生した言語間で最も高い重なり合いを持つ,図形表現の文化的・地域的概念に依存していることが明らかとなった。 全ての言語は、事前学習データと微調整データの可用性を反映した性能の変化により、英語と比較して大きな欠陥がある。
  論文  参考訳（メタデータ） (2023-05-25T15:30:31Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。