論文の概要: ChiEngMixBench: Evaluating Large Language Models on Spontaneous and Natural Chinese-English Code-Mixed Generation

• arxiv url: http://arxiv.org/abs/2601.16217v1
• Date: Fri, 02 Jan 2026 08:18:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 02:21:38.444853
• Title: ChiEngMixBench: Evaluating Large Language Models on Spontaneous and Natural Chinese-English Code-Mixed Generation
• Title（参考訳）: ChiEngMixBench: 自然と自然の中国語のコードミキシング生成に基づく大規模言語モデルの評価
• Authors: Qingyan Yang, Tongxi Wang, Yunsheng Luo,
• Abstract要約: ChiEngMixBenchは、実際のコミュニティコンテキストにおけるコード混合能力を評価するために設計された最初のベンチマークである。 ChiEngMixBenchは、自発性と自然性という2つの相補的な信号によって特徴づけられる認知的アライメント問題としてコードミキシングを定式化している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code-mixing is increasingly prevalent in interactions between humans and large language models, yet existing work often reduces it to a translation or convertibility problem, making it difficult to assess whether a model's switching behavior is context-appropriate and aligned with human conventions. We introduce ChiEngMixBench, the first benchmark designed to evaluate code-mixing ability in authentic community contexts, built upon a general construction pipeline that enables scalable dataset development across domains and bilingual pairs. ChiEngMixBench formulates code-mixing as a cognitive alignment problem, characterized by two complementary signals: Spontaneity and Naturalness. Empirical evaluation shows that our metrics can systematically distinguish code-mixing performance across models. Beyond benchmarking, we further uncover an implicitly emergent Terminology Layering Strategy, a phenomenon consistent with the Matrix Language Frame (MLF) theory, indicating structured cognitive alignment between multilingual large language models and human communication.
• Abstract（参考訳）: コードミキシングは、人間と大きな言語モデル間の相互作用においてますます普及しているが、既存の研究は、それを翻訳や変換可能性の問題に還元することが多く、モデルの切り替え動作がコンテキストに適合し、人間の慣習に適合しているかどうかを評価することは困難である。 我々は、ドメインとバイリンガルペア間のスケーラブルなデータセット開発を可能にする汎用パイプライン上に構築された、コミュニティコンテキストのコード混合能力を評価するために設計された最初のベンチマークであるChiEngMixBenchを紹介した。 ChiEngMixBenchは、自発性と自然性という2つの相補的な信号によって特徴づけられる認知的アライメント問題としてコードミキシングを定式化している。 経験的評価は、我々のメトリクスがモデル間でコードミキシングのパフォーマンスを系統的に区別できることを示している。 ベンチマークの他に,多言語大言語モデルと人間のコミュニケーションの間の構造的認知的アライメントを示すマトリックス言語フレーム(MLF)理論と矛盾する現象である,暗黙的に出現する用語層戦略も明らかにした。

関連論文リスト

• UniCoR: Modality Collaboration for Robust Cross-Language Hybrid Code Retrieval [21.36577755250534]
  我々はUniCoRを提案し、Uniified Code Representationsフレームワークを学習し、統一的で堅牢なコード表現を学習する。 我々は,UniCoRがすべてのベースラインモデルより優れており,MRRが8.64%,MAPが11.54%向上していることを示す。 UniCoRは、クロス言語シナリオにおけるハイブリッドコード検索と一般化機能の安定性を示す。
  論文  参考訳（メタデータ） (2025-12-11T09:15:38Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• Interference Matrix: Quantifying Cross-Lingual Interference in Transformer Encoders [55.749883010057545]
  可能な全ての言語対上で,小さなBERT様のモデルを訓練し,評価することにより,干渉行列を構築する。 分析の結果,言語間の干渉は非対称であり,そのパターンが従来の言語特性と一致しないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-04T10:02:19Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• FUSE : A Ridge and Random Forest-Based Metric for Evaluating MT in Indigenous Languages [3.5507492850515323]
  本稿では,RaaVaチームのAmerices 2025 Shared Task 3における自動機械翻訳のための評価基準の獲得について述べる。 評価のためのFUSE (Feature-Union Scorer) を導入し,FUSEはリッジ回帰とグラディエントブースティングを統合して翻訳品質をモデル化する。 その結果,FUSE はPearson と Spearman の相関関係を人間の判断と連続的に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-03-28T06:58:55Z)
• Towards Human Cognition: Visual Context Guides Syntactic Priming in Fusion-Encoded Models [3.63819860423174]
  構造プライミング(Structure priming)は、特定の構文構造への露出が、その後の発話で同じ構造を生成する可能性を高める認知現象である。 本稿では,最初のマルチモーダル構造プライミングデータセットであるPRISMATICを紹介する。 文レベルの構造的プライミング効果を特に評価するために設計された,新しい参照不要評価指標である構文保存指数(SPI)を提案する。
  論文  参考訳（メタデータ） (2025-02-24T21:33:27Z)
• Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models [16.82812708514889]
  1つの会話で2つ以上の言語を交互に交互に行うコードスイッチングは、自然言語処理(NLP)に特有の課題を提示する 既存の研究は構文的制約やニューラルジェネレーションに重点を置いており、言語理論を言語モデル(LLM)と統合して自然なコード変更テキストを生成する努力はほとんどない。 等価制約理論(ECT)とLLMを組み合わせた新しいフレームワークであるEZSwitchを導入する。
  論文  参考訳（メタデータ） (2024-10-30T03:03:32Z)
• Collapsed Language Models Promote Fairness [88.48232731113306]
  偏りのある言語モデルはトークン表現と単語埋め込みの間に崩壊したアライメントを示す。 我々は,幅広い脱バイアス法において,公平性を効果的に向上する原理的な微調整法を設計する。
  論文  参考訳（メタデータ） (2024-10-06T13:09:48Z)
• MulCogBench: A Multi-modal Cognitive Benchmark Dataset for Evaluating Chinese and English Computational Language Models [44.74364661212373]
  本稿では、中国語と英語のネイティブ参加者から収集した認知ベンチマークであるMulCogBenchを提案する。 主観的意味評価、視線追跡、機能的磁気共鳴画像(fMRI)、脳磁図(MEG)など、さまざまな認知データを含んでいる。 その結果、言語モデルは人間の認知データと大きな類似性を共有しており、類似性パターンはデータモダリティと刺激の複雑さによって変調されることがわかった。
  論文  参考訳（メタデータ） (2024-03-02T07:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。