論文の概要: CSWBench: Evaluating Context-Sensitive Code-Switching in Creative Writing
- arxiv url: http://arxiv.org/abs/2610.20272v1
- Date: Wed, 14 Oct 2026 14:33:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.205256
- Title: CSWBench: Evaluating Context-Sensitive Code-Switching in Creative Writing
- Title（参考訳）: CSWBench: 創造的記述におけるコンテキスト感受性コードスイッチングの評価
- Abstract要約: 大規模言語モデル(LLM)は多様な言語生成と理解タスクにまたがる多言語機能を示している。
CSWBenchは、クリエイティブな書き込みにおいてコンテキストに敏感なコードスイッチングを評価するためのベンチマークである。
CSWEvalは2つの相補的なレベルを持つ理論インフォームドフレームワークである。
- 参考スコア（独自算出の注目度）: 16.517389145660875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated multilingual capabilities across diverse language generation and understanding tasks. Yet effective code-switching requires more than multilingual proficiency: models must decide when, where, and why to switch languages in ways that fit the surrounding context. This context-sensitive ability remains insufficiently evaluated. We introduce CSWBench, a benchmark for evaluating context-sensitive code-switching in creative writing through two complementary settings: Focused Narrative and Extended Narrative. We further propose CSWEval, a theory-informed framework with two complementary levels: event-level evaluation of Licensing, Contextual Appropriateness, and Functional Gain, and whole-text evaluation of task-specific quality---overall literary and narrative quality in Focused Narrative and quality emphasizing multilingual organization in Extended Narrative. Evaluating twelve LLMs, we find that models exhibit meaningful but uneven code-switching competence across narrative contexts. Model differences are particularly pronounced in multilingual literary integration, while multilingual-focused dimensions show stronger difficulty effects overall than the general narrative dimensions; narratively salient switches are associated with stronger contextual and functional realization; and event-level CS quality is moderately associated with whole-text performance.
- Abstract（参考訳）: 大規模言語モデル(LLM)は多様な言語生成と理解タスクにまたがる多言語機能を示している。
モデルは、周囲のコンテキストに合った方法で言語をいつ、どこで、なぜ切り替えるかを決定する必要があります。
この文脈に敏感な能力は、まだ十分に評価されていない。
我々はCSWBenchを紹介した。CSWBenchは2つの補完的な設定により、創造的記述における文脈に敏感なコードスイッチを評価するためのベンチマークである。
さらに、CSWEvalという2つの相補的なレベルを持つ理論インフォームド・フレームワークを提案する。これは、イベントレベルのライセンシング、文脈的適切性、機能的ゲインの評価と、拡張的ナラティブにおける多言語的組織を強調する多言語的組織を重視した集中的ナラティブと物語的品質の総合的な評価である。
12個のLCMを評価すると、モデルには物語の文脈における有意義だが不均一なコードスイッチング能力があることが分かる。
モデルの違いは、多言語文学の統合において特に顕著であり、多言語に焦点を当てた次元は、一般的な物語の次元よりも全体的な難易度を強く示し、物語的健全なスイッチは、より強い文脈的および機能的実現に関連付けられ、イベントレベルCSの品質は、全文のパフォーマンスと適度に関連付けられている。
関連論文リスト
- BIASEDTALES-ML: A Multilingual Dataset for Analyzing Narrative Attribute Distributions in LLM-Generated Stories [38.36264873832655]
BiasedTales-MLは8つの類型的および文化的に多様な言語で生成される約35万の児童話からなる大規模並列コーパスである。
分析の結果,ナラティブ生成パターンの言語間差異は顕著であり,英語で観察される分布が他の言語と類似した特徴を示すとは限らないことが示唆された。
これらの知見は、多言語環境下での社会的基盤の物語生成を特徴付けるための英語中心評価の限界を浮き彫りにした。
論文 参考訳（メタデータ） (2026-04-18T14:39:15Z) - MT-PingEval: Evaluating Multi-Turn Collaboration with Private Information Games [70.37904949359938]
我々は,プライベート情報に関する効果的なコミュニケーションを必要とする協調ゲーム群を用いて,マルチターンインタラクションにおける言語モデルの評価を行った。
言語モデルでは,非対話的なベースラインシナリオを改善するために,対話的なコラボレーションを利用できないことがわかった。
我々は,これらの対話の言語的特徴を分析し,サイコフナンシー,情報密度,談話コヒーレンスの役割を評価する。
論文 参考訳（メタデータ） (2026-02-27T17:13:20Z) - PART: Progressive Alignment Representation Training for Multilingual Speech-To-Text with LLMs [58.2469845374385]
進歩的アライメント表現訓練(PART)について紹介する。
Partは多段階およびマルチタスクのフレームワークで、言語内のアライメントと言語間のアライメントを分離する。
CommonVoice 15の実験では、Fleurs、Wenetspeech、CoVoST2が、Particleが従来のアプローチを上回ることを示している。
論文 参考訳（メタデータ） (2025-09-24T03:54:14Z) - Controlling Language Difficulty in Dialogues with Linguistic Features [9.426180715334667]
言語アノテートされた対話データに基づく大規模言語モデル(LLM)の訓練は、言語習熟度を正確に調節することができる。
提案手法は,高い対話品質を維持しつつ,言語能力の優れた制御性を実現する。
論文 参考訳（メタデータ） (2025-09-18T02:22:43Z) - Decoding Memes: Benchmarking Narrative Role Classification across Multilingual and Multimodal Models [26.91963265869296]
本研究は,インターネットミームにおける物語的役割の特定という課題について考察する。
元々は'他'クラスにスキューされたアノテーション付きデータセットの上に構築される。
包括的語彙および構造解析は、実際のミームで使われるニュアンス、文化特化、文脈に富んだ言語を強調している。
論文 参考訳（メタデータ） (2025-06-29T07:12:11Z) - SwitchLingua: The First Large-Scale Multilingual and Multi-Ethnic Code-Switching Dataset [34.40254709148148]
コードスイッチング(Code-Switching, CS)とは、会話や発話の中で2つ以上の言語を交互に使用する方法である。
この言語現象は、自動音声認識(ASR)システムに課題をもたらす。
textbfSwitchLinguaは、最初の大規模多言語および多民族のコードスイッチングデータセットである。
論文 参考訳（メタデータ） (2025-05-30T05:54:46Z) - Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language
Pretraining? [34.609984453754656]
本研究の目的は,意味表現や構文構造を含む包括的言語知識がマルチモーダルアライメントに与える影響を明らかにすることである。
具体的には、最初の大規模マルチモーダルアライメント探索ベンチマークであるSNAREを設計、リリースする。
論文 参考訳（メタデータ） (2023-08-24T16:17:40Z) - MaPLe: Multi-modal Prompt Learning [54.96069171726668]
本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。
最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
論文 参考訳（メタデータ） (2022-10-06T17:59:56Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳（メタデータ） (2022-05-07T13:44:28Z) - AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages
with Adversarial Examples [51.048234591165155]
本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。
言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。
その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
論文 参考訳（メタデータ） (2021-04-17T20:23:45Z) - Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual
Retrieval [51.60862829942932]
本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。
文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。
しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
論文 参考訳（メタデータ） (2021-01-21T00:15:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。