論文の概要: Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions

• arxiv url: http://arxiv.org/abs/2606.30790v1
• Date: Mon, 29 Jun 2026 18:19:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.966678
• Title: Indi-RomCoM: Code-Mixed Benchmark for Evaluating LLMs on Romanized Indic-English Instructions
• Title（参考訳）: Indi-RomCoM: ローマ字英語教育におけるLLMの評価のためのコードミクシングベンチマーク
• Abstract要約: Indic Romanized Code-Mixed命令の体系的評価を容易にするために,Indi-RomCoMベンチマークを導入する。 我々のベンチマークは、7つの命令追従タスク、4つの広く話されているIndic言語、3つの制御されたコード混合強度レベルにまたがる。
• 参考スコア（独自算出の注目度）: 8.689444497614387
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Romanized Code Mixing (RCM), where bilingual speakers fluidly blend local languages with English in Roman script, has emerged as the dominant form of communication across multilingual communities. While Large Language Models (LLMs) perform strongly on monolingual and native-script benchmarks, their ability to follow instructions and reason over RCM-based content remains largely unexplored. To this end, we introduce the Indi-RomCoM benchmark for facilitating systematic evaluation on Indic Romanized Code-Mixed instructions. Our benchmark spans seven instruction-following tasks, four widely spoken Indic languages, and three controlled code-mixing intensity levels. We extensively evaluate a suite of LLMs covering proprietary, open-weight, and Indic-focused models under zero- and few-shot settings. LLMs consistently underperform on RCM instructions, with performance degrading as code-mixing density increases. Furthermore, reasoning tasks suffer less degradation than detection tasks (e.g., Toxicity) because the generated explanations offer necessary context. We believe Indi-RomCoM helps the community in developing inclusive multilingual systems.
• Abstract（参考訳）: ロマンティック・コード・ミキシング(英語版) (RCM) は、バイリンガル話者が言語をローマ字で英語と流動的に混合する言語であり、多言語コミュニティにおけるコミュニケーションの主要な形態として現れている。 大きな言語モデル(LLM)はモノリンガルとネイティブスクリプトのベンチマークで強く機能するが、RCMベースのコンテンツよりも命令や理由に従う能力はいまだに探索されていない。 そこで本研究では,Indic Romanized Code-Mixed命令の体系的評価を容易にするIndi-RomCoMベンチマークを提案する。 我々のベンチマークは、7つの命令追従タスク、4つの広く話されているIndic言語、3つの制御されたコード混合強度レベルにまたがる。 プロプライエタリ、オープンウェイト、およびインデックスに焦点を当てたモデルを、ゼロショットおよび少数ショット設定で広範囲に評価する。 LLMは、コード混合密度が増大するにつれて、RCM命令で一貫して性能が低下する。 さらに、推論タスクは、生成した説明が必要なコンテキストを提供するため、検出タスク(例えば、Toxicity)よりも劣化が少ない。 Indi-RomCoMはコミュニティが包括的多言語システムを開発するのに役立ちます。

関連論文リスト

• Can Large Language Models Understand, Reason About, and Generate Code-Switched Text? [26.210664542372168]
  コードスイッチングは多言語通信において広く普及する現象であるが、混合言語環境における大規模言語モデル(LLM)の堅牢性は未だ十分に理解されていない。 我々は,16種類の並列コード切替言語ペアの変種からなる,高品質なヒューマンアノテーションを備えた新しいベンチマークであるCodeMixQAを紹介する。 コードスイッチングされた質問応答タスクにおけるLCMの推論動作を分析し、混合言語入力に対するモデル処理と推論の仕方について光を当てる。
  論文  参考訳（メタデータ） (2026-01-12T02:52:38Z)
• Cross-Lingual Prompt Steerability: Towards Accurate and Robust LLM Behavior across Languages [61.18573330164572]
  システムプロンプトは、推論時に大きな言語モデル(LLM)を条件付けするための軽量で強力なメカニズムを提供する。 本稿では, 異なるシステムが, 正確な, 頑健な言語間行動に対して, ステアモデルをどのように促すかを包括的に検討する。
  論文  参考訳（メタデータ） (2025-12-02T14:54:54Z)
• Toxicity Red-Teaming: Benchmarking LLM Safety in Singapore's Low-Resource Languages [57.059267233093465]
  大規模言語モデル(LLM)は自然言語処理を変革しているが、その安全性メカニズムは低リソースで多言語的な設定では未探索のままである。 シンガポールの多様な言語文脈におけるLLM安全性をベンチマークするための新しいデータセットおよび評価フレームワークであるtextsfSGToxicGuardを紹介した。 我々は最先端の多言語LLMによる広範囲な実験を行い、その安全ガードレールの限界を明らかにする。
  論文  参考訳（メタデータ） (2025-09-18T08:14:34Z)
• MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks [37.069856351074385]
  MCIF (Multimodal Crosslingual Instruction following) は、科学的な議論に基づく最初の多言語人手によるベンチマークである。 ショートフォームとロングフォームの両方の入力に対して、クロスランガルでマルチモーダルな設定で命令追従を評価するように設計されている。 言語、視覚、テキストの3つの中核的なモダリティと4つの多言語(英語、ドイツ語、イタリア語、中国語)にまたがる。
  論文  参考訳（メタデータ） (2025-07-25T19:00:51Z)
• CodeMixBench: Evaluating Code-Mixing Capabilities of LLMs Across 18 Languages [10.15537631183956]
  会話の中で言語を切り替えるコードミキシングは、従来のNLPに固有の課題をもたらす。 既存のベンチマークは言語ペアとタスクによって制限されており、大きな言語モデル(LLM)のコードミキシング能力を適切に評価することができない。 我々は,LLMに特有の3つのタスク,従来の5つのNLPタスク,および7つの言語ファミリーにわたる18の言語を含む,8つのタスクをカバーする包括的なベンチマークであるCodeMixBenchを紹介した。
  論文  参考訳（メタデータ） (2025-07-24T20:24:33Z)
• Lost in the Mix: Evaluating LLM Understanding of Code-Switched Text [25.05270733872823]
  コードスイッチング(英: Code-switching、CSW)とは、1つの言説の中で2つ以上の言語を交互に行う行為である。 大規模言語モデル(LLM)は現在、コンテンツと通信生成の中心となっている。
  論文  参考訳（メタデータ） (2025-06-16T21:19:27Z)
• CHAI for LLMs: Improving Code-Mixed Translation in Large Language Models through Reinforcement Learning with AI Feedback [11.223762031003671]
  大規模言語モデル(LLM)は、様々なNLPタスクにまたがる顕著な機能を示しているが、コード混在(またはコード切替)言語理解に苦慮している。 本稿では,多言語LLMのコード混合言語処理能力を向上させるための新しいフレームワークであるCHAIを提案する。 解析の結果,CHAI を用いた LLM は,コード混在翻訳タスクにおいて,最先端のオープンソース LLM よりも25.66% 向上していることがわかった。
  論文  参考訳（メタデータ） (2024-11-13T22:56:00Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Multi-IF: Benchmarking LLMs on Multi-Turn and Multilingual Instructions Following [51.18383180774354]
  Multi-IFは,大規模言語モデルの習熟度を多元的および多言語的指示に従って評価するための新しいベンチマークである。 Multi-IF 上での14の最先端 LLM の評価結果から,既存のベンチマークよりもはるかに難しい課題であることが判明した。 非ラテン文字(ヒンディー語、ロシア語、中国語)を持つ言語は一般的に高いエラー率を示し、モデルの多言語能力の潜在的な制限を示唆している。
  論文  参考訳（メタデータ） (2024-10-21T00:59:47Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Exploring Multi-Lingual Bias of Large Code Models in Code Generation [55.336629780101475]
  コード生成は、自然言語(NL)仕様に基づいて、コードを合成し、機能要件を満たすことを目的としている。 有効性にもかかわらず、我々は大規模コードモデル(LCM)の生成性能において顕著な多言語バイアスを観察する。 LCMは、英語で指示を与えると解を生成する能力を示すが、中国語などの他のNLで意味論的に等価な命令に直面すると、失敗する可能性がある。
  論文  参考訳（メタデータ） (2024-04-30T08:51:49Z)
• MIPE: A Metric Independent Pipeline for Effective Code-Mixed NLG Evaluation [1.2559148369195197]
  コードミキシング(Code-mixing)は、2つ以上の言語からの単語とフレーズを1つの発話で混合する現象である。 様々な一般的なメトリクスは、コードミキシングされたNLGタスクではうまく機能しない。 評価指標と人的判断の相関性を大幅に改善する指標独立評価パイプラインMIPEを提案する。
  論文  参考訳（メタデータ） (2021-07-24T05:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。