論文の概要: A Case Study of Cross-Lingual Zero-Shot Generalization for Classical Languages in LLMs

• arxiv url: http://arxiv.org/abs/2505.13173v1
• Date: Mon, 19 May 2025 14:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.652417
• Title: A Case Study of Cross-Lingual Zero-Shot Generalization for Classical Languages in LLMs
• Title（参考訳）: LLMにおける古典言語における言語間ゼロショット一般化の一事例
• Authors: V. S. D. S. Mahesh Akavarapu, Hrishikesh Terdalkar, Pramit Bhattacharyya, Shubhangi Agarwal, Vishakha Deulgaonkar, Pralay Manna, Chaitali Dangarikar, Arnab Bhattacharya,
• Abstract要約: 我々は、サンスクリット語、古代ギリシア語、ラテン語の3つの古典的な言語における自然言語理解に焦点を当てている。 まず、名前付きエンティティ認識と機械翻訳を英語に翻訳する。 検索拡張生成手法を用いてコンテキストを組み込むことにより,性能が著しく向上することを示す。
• 参考スコア（独自算出の注目度）: 3.4020284996081216
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable generalization capabilities across diverse tasks and languages. In this study, we focus on natural language understanding in three classical languages -- Sanskrit, Ancient Greek and Latin -- to investigate the factors affecting cross-lingual zero-shot generalization. First, we explore named entity recognition and machine translation into English. While LLMs perform equal to or better than fine-tuned baselines on out-of-domain data, smaller models often struggle, especially with niche or abstract entity types. In addition, we concentrate on Sanskrit by presenting a factoid question-answering (QA) dataset and show that incorporating context via retrieval-augmented generation approach significantly boosts performance. In contrast, we observe pronounced performance drops for smaller LLMs across these QA tasks. These results suggest model scale as an important factor influencing cross-lingual generalization. Assuming that models used such as GPT-4o and Llama-3.1 are not instruction fine-tuned on classical languages, our findings provide insights into how LLMs may generalize on these languages and their consequent utility in classical studies.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なタスクや言語にまたがる顕著な一般化機能を示している。 本研究では,サンスクリット語,古代ギリシア語,ラテン語の3言語における自然言語理解に着目し,言語間ゼロショットの一般化に影響を与える要因について検討する。 まず、名前付きエンティティ認識と機械翻訳を英語に翻訳する。 LLMはドメイン外のデータに対して微調整されたベースラインと同等かそれ以上の性能を持つが、より小さなモデルは、特にニッチまたは抽象的なエンティティタイプと苦戦することが多い。 さらに,サンスクリットに着目し,ファクトイド質問応答(QA)データセットを提示し,検索拡張生成手法によるコンテキストの取り込みが性能を著しく向上させることを示す。 対照的に、これらのQAタスクに対して、より小さなLCMに対する顕著な性能低下を観察する。 これらの結果は、モデルスケールが言語間一般化に影響を及ぼす重要な要因であることを示唆している。 GPT-4o や Llama-3.1 のようなモデルが古典言語で微調整されていないことを前提として,LLM がこれらの言語にどのように一般化するか,そしてそれらが古典研究において有用であるかを考察する。

関連論文リスト

• Disparities in LLM Reasoning Accuracy and Explanations: A Case Study on African American English [66.97110551643722]
  本研究では,Large Language Models (LLMs) 推論タスクにおける方言の相違について検討する。 LLMは、AAE入力に対するより正確な応答とより単純な推論チェーンと説明を生成する。 これらの知見は、LLMの処理方法と異なる言語品種の理由の体系的差異を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-03-06T05:15:34Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Randomly Sampled Language Reasoning Problems Reveal Limits of LLMs [8.146860674148044]
  我々は,データセットリコールのリスクを回避しつつ,モデルの言語理解能力の測定を試みる。 決定論的有限オートマトン(DFA)により認識される言語タスクの多種族をパラメータ化する。 3 状態 DFA の驚くほど単純な設定であっても、LLM は言語認識と合成の両タスクにおいてパラメータ化されていない ngram モデルより劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Unveiling Linguistic Regions in Large Language Models [49.298360366468934]
  大規模言語モデル (LLM) は言語間アライメントと一般化能力を示す。 本稿では,LLMの言語能力に関するいくつかの調査を行う。
  論文  参考訳（メタデータ） (2024-02-22T16:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。