論文の概要: Code Mixologist : A Practitioner's Guide to Building Code-Mixed LLMs
- arxiv url: http://arxiv.org/abs/2602.11181v1
- Date: Wed, 21 Jan 2026 23:32:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-15 14:54:53.731841
- Title: Code Mixologist : A Practitioner's Guide to Building Code-Mixed LLMs
- Title(参考訳): コードミキサー : コードミキシングLLM構築のための実践者ガイド
- Authors: Himanshu Gupta, Pratik Jayarao, Chaitanya Dwivedi, Neeraj Varshney,
- Abstract要約: コードミキシングとコードスイッチング(CSW)は、大きな言語モデル(LLM)にとって難しい現象である。
この研究は、現代の大規模言語モデル設定におけるCSW研究の包括的概要を提供する。
- 参考スコア(独自算出の注目度): 12.513874407270142
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code-mixing and code-switching (CSW) remain challenging phenomena for large language models (LLMs). Despite recent advances in multilingual modeling, LLMs often struggle in mixed-language settings, exhibiting systematic degradation in grammaticality, factuality, and safety behavior. This work provides a comprehensive overview of CSW research in modern large language model settings. We introduce a unifying taxonomy that organizes prior work along dimensions of data, modeling, and evaluation, and we distill these findings into a practical playbook of actionable recommendations for building, adapting, and evaluating CSW-capable LLMs. We review modeling approaches ranging from CSW-tailored pre-training and task-specific post-training to prompting strategies and in-context learning. We analyze current evaluation practices, highlighting sources of instability and limited reproducibility, and we catalog existing benchmarks while critically examining their linguistic coverage and English-centric biases. Finally, we discuss emerging safety concerns, including use of code-mixing as a mechanism for bypassing model safeguards, and identify open research challenges.
- Abstract(参考訳): コードミキシングとコードスイッチング(CSW)は、大きな言語モデル(LLM)にとって難しい現象である。
近年の多言語モデリングの進歩にもかかわらず、LLMは混合言語設定に苦しむことが多く、文法性、事実性、安全行動の体系的な劣化を示す。
この研究は、現代の大規模言語モデル設定におけるCSW研究の包括的概要を提供する。
我々は、データ、モデリング、評価の次元に沿って先行研究を組織する統一分類法を導入し、これらの知見を、CSW対応LCMの構築、適応、評価のための実用的な推奨事項の実践的なプレイブックに精算する。
我々は、CSWによる事前学習やタスク固有のポストトレーニングから、ストラテジーの促進やコンテキスト内学習まで、様々なモデリングアプローチについてレビューする。
我々は、現在の評価実践を分析し、不安定な情報源と限定的な再現性を強調し、既存のベンチマークをカタログ化し、その言語的カバレッジと英語中心のバイアスを批判的に検討する。
最後に、モデルセーフガードをバイパスするメカニズムとしてのコードミキシングの使用や、オープンな研究課題の特定など、新たな安全性上の懸念について議論する。
関連論文リスト
- Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models [1.175067374181304]
単一発話における言語とスクリプトの交替であるコードスイッチングは、多言語NLPの根本的な課題である。
ほとんどの大規模言語モデル(LLM)は、混合言語入力、限られたCSWデータセット、評価バイアスに悩まされている。
この調査は、CSWを意識したLSM研究の総合的な分析を初めて提供する。
論文 参考訳(メタデータ) (2025-10-08T14:04:14Z) - Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。
異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。
我々は最先端のPTQ手法を実装し、包括的な評価を行う。
論文 参考訳(メタデータ) (2025-08-20T17:59:51Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳(メタデータ) (2025-07-21T10:52:14Z) - MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks [56.34018316319873]
我々は,最新のLLMをロシア語で評価するためのベンチマークであるMERA Codeを提案する。
このベンチマークには、8つのプログラミング言語にまたがる11の評価タスクが含まれている。
我々はオープンなLLMとフロンティアAPIモデルを評価し、非英語言語における実用的なコーディングタスクの観点からそれらの制限を分析した。
論文 参考訳(メタデータ) (2025-07-16T14:31:33Z) - Zero-shot Model-based Reinforcement Learning using Large Language Models [12.930241182192988]
本稿では,マルコフ決定過程の動的状態を予測するために,事前学習した大規模言語モデルをどのように活用することができるかを検討する。
本稿では,モデルに基づく政策評価とデータ強化型オフ政治強化学習という2つの強化学習環境における概念実証の応用について述べる。
論文 参考訳(メタデータ) (2024-10-15T15:46:53Z) - Large Language Models for Anomaly and Out-of-Distribution Detection: A Survey [18.570066068280212]
大規模言語モデル(LLM)は、自然言語処理だけでなく、より広範なアプリケーションでもその効果を実証している。
本調査は,LSMの文脈下での異常検出とOOD検出の問題点に焦点を当てた。
LLMが果たす役割に基づいて,既存のアプローチを2つのクラスに分類する新たな分類法を提案する。
論文 参考訳(メタデータ) (2024-09-03T15:22:41Z) - LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。
以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。
具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
論文 参考訳(メタデータ) (2024-06-24T03:36:29Z) - Scalable Language Model with Generalized Continual Learning [58.700439919096155]
The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。
提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
論文 参考訳(メタデータ) (2024-04-11T04:22:15Z) - Large Language Models Offer an Alternative to the Traditional Approach of Topic Modelling [0.9095496510579351]
広範テキストコーパス内の話題を明らかにする代替手段として,大規模言語モデル (LLM) の未解決の可能性について検討する。
本研究は, 適切なプロンプトを持つLCMが, トピックのタイトルを生成でき, トピックを洗練, マージするためのガイドラインに固執する上で, 有効な代替手段として目立たせることを示唆している。
論文 参考訳(メタデータ) (2024-03-24T17:39:51Z) - Establishing Trustworthiness: Rethinking Tasks and Model Evaluation [36.329415036660535]
我々は、NLPにおけるタスクとモデル評価を構成するものを再考する時が来たと論じる。
本稿では,モデルの機能的能力の起源を理解するために,既存のコンパートナライズドアプローチについてレビューする。
論文 参考訳(メタデータ) (2023-10-09T06:32:10Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - Competence-Based Analysis of Language Models [21.43498764977656]
CALM (Competence-based Analysis of Language Models) は、特定のタスクの文脈におけるLLM能力を調べるために設計された。
我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。
これらの介入を用いてCALMのケーススタディを行い、様々な語彙推論タスクにおけるLCM能力の分析と比較を行う。
論文 参考訳(メタデータ) (2023-03-01T08:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。