論文の概要: Safer in Translation? Presupposition Robustness in Indic Languages

• arxiv url: http://arxiv.org/abs/2511.01360v1
• Date: Mon, 03 Nov 2025 09:08:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:27.191517
• Title: Safer in Translation? Presupposition Robustness in Indic Languages
• Title（参考訳）: 翻訳におけるセーファー : 英語における前置ロバスト性
• Authors: Aadi Palnitkar, Arjun Suresh, Rishi Rajesh, Puneet Puli,
• Abstract要約: Cancer-Myth-Indicは、C cancer-Mythの500itemサブセットを翻訳して構築されたIndic言語ベンチマークである。 我々は,この前提条件下で,いくつかのポピュラーな大規模言語モデル (LLM) を評価する。
• 参考スコア（独自算出の注目度）: 0.11289904494978283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Increasingly, more and more people are turning to large language models (LLMs) for healthcare advice and consultation, making it important to gauge the efficacy and accuracy of the responses of LLMs to such queries. While there are pre-existing medical benchmarks literature which seeks to accomplish this very task, these benchmarks are almost universally in English, which has led to a notable gap in existing literature pertaining to multilingual LLM evaluation. Within this work, we seek to aid in addressing this gap with Cancer-Myth-Indic, an Indic language benchmark built by translating a 500-item subset of Cancer-Myth, sampled evenly across its original categories, into five under-served but widely used languages from the subcontinent (500 per language; 2,500 translated items total). Native-speaker translators followed a style guide for preserving implicit presuppositions in translation; items feature false presuppositions relating to cancer. We evaluate several popular LLMs under this presupposition stress.
• Abstract（参考訳）: 医療アドバイスや相談のための大規模言語モデル(LLM)がますます多くなり、このようなクエリに対するLLMの応答の有効性と正確性を評価することが重要になっている。 この課題を達成しようとする医学ベンチマークの文献は存在するが、これらのベンチマークはほとんど英語で書かれており、これは多言語LSM評価に関する既存の文献に顕著なギャップをもたらしている。 この研究の中で、我々は、500itemのがん神話のサブセットを、そのもともとのカテゴリで均等に分析し、サブコンチネントから5つの未使用言語(言語毎500、翻訳項目総数2,500)に翻訳することで、このギャップに対処することを模索している。 ネイティブスピーカー翻訳者は、翻訳における暗黙の前提を保存するためのスタイルガイドに従った。 我々は,この前提条件下でのLLMの評価を行った。

関連論文リスト

• Filling in the Clinical Gaps in Benchmark: Case for HealthBench for the Japanese medical system [5.7880565661958565]
  本研究では,日本におけるHealthBenchの適用性について検討した。 日本語の資源は乏しく、翻訳された複数の質問から構成されることが多い。
  論文  参考訳（メタデータ） (2025-09-22T07:36:12Z)
• Multilingual LLM Prompting Strategies for Medical English-Vietnamese Machine Translation [7.238888652441979]
  医療用英語-ベトナム語機械翻訳(En-Vi MT)は、ベトナムにおける医療アクセスとコミュニケーションに不可欠である。 我々は,MedEVデータセット上で6つの多言語LLM(0.5B-9Bパラメータ)のプロンプト戦略を評価する。
  論文  参考訳（メタデータ） (2025-09-19T06:06:36Z)
• PolyMath: Evaluating Mathematical Reasoning in Multilingual Contexts [85.78821098963607]
  PolyMathは18の言語と4つの難易度をカバーする多言語数学的推論ベンチマークである。 我々のベンチマークは、包括性、言語多様性、高品質な翻訳の難しさを保証する。
  論文  参考訳（メタデータ） (2025-04-25T15:39:04Z)
• HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning [56.221060995324436]
  大規模言語モデル(LLM)は、常識推論において顕著な能力を示している。 これらのモデルは、本当に常識的知識を理解しているのか、あるいは単に表現パターンを記憶しているだけなのか? 11,200のケースからなる大規模バイリンガルベンチマークであるHellaSwag-Proを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T03:24:02Z)
• Multi-OphthaLingua: A Multilingual Benchmark for Assessing and Debiasing LLM Ophthalmological QA in LMICs [3.1894617416005855]
  大型言語モデル(LLM)は、様々な眼科手術を自動化するための有望なソリューションを提供する。 LLMは、自然言語の問合せタスクにおいて、様々な言語で顕著に異なる性能を示してきた。 本研究は,複数言語にまたがる質問を手作業でキュレートした,最初の多言語眼科的質問答えベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T20:18:03Z)
• Better to Ask in English: Evaluation of Large Language Models on English, Low-resource and Cross-Lingual Settings [12.507989493130175]
  GPT-4, Llama 2 および Gemini は, 東南アジアの他の低リソース言語と比較して, 英語での有効性が評価されている。 GPT-4はLlama 2とGeminiを5つのプロンプト設定と全言語で上回ったことを示唆している。
  論文  参考訳（メタデータ） (2024-10-17T02:12:30Z)
• Medical mT5: An Open-Source Multilingual Text-to-Text LLM for The Medical Domain [19.58987478434808]
  我々は、医療領域における最初のオープンソーステキストからテキストへの多言語モデルであるMedical mT5を提示する。 包括的な評価では、Medical mT5はエンコーダと、スペイン語、フランス語、イタリア語のベンチマークで同等の大きさのテキスト・テキスト・モデルの両方を上回っている。
  論文  参考訳（メタデータ） (2024-04-11T10:01:32Z)
• Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language [1.1702440973773898]
  本研究では,Timor-Lesteで話される低音源のオーストロネシア語であるMambaiへの英語翻訳における大規模言語モデルの利用について検討した。 提案手法は, 並列文と辞書エントリの戦略的な選択と, プロンプトのための手法である。 辞書をインプロンプトに含め,-IDFで検索した文とセマンティック埋め込みを混合することにより,翻訳品質が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-07T05:04:38Z)
• OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models [59.54423478596468]
  OMGEvalは、オープンソースの多言語生成テストセットであり、異なる言語におけるLLMの能力を評価することができる。 各言語について、OMGEvalは804のオープンエンド質問を提供し、LLMの重要な機能を幅広くカバーしている。 具体的には、OMGEvalの現在のバージョンには5つの言語(Zh, Ru, Fr, Es, Ar)が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T04:42:41Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• Chain-of-Dictionary Prompting Elicits Translation in Large Language Models [100.47154959254937]
  大規模言語モデル(LLM)は多言語ニューラルマシン翻訳(MNMT)において驚くほど優れた性能を示した 入力単語のサブセットに対する多言語辞書の連鎖による事前知識でLLMを拡張して翻訳能力を引き出す新しい方法であるCoDを提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:19:47Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。