論文の概要: ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

• arxiv url: http://arxiv.org/abs/2606.17905v1
• Date: Tue, 16 Jun 2026 13:28:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.448873
• Title: ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions
• Title（参考訳）: 論理学:中国語表現における論理的推論のロバスト性の評価
• Authors: Peixian Zhou, Yuxu Chen, Chaorui Zhang, Wei Han, Bo Bai, Xueyan Niu,
• Abstract要約: ChLogicは、同じ潜在論理構造が英語および多種多様な中国表面実現で表されるときに、モデルが論理的推論性能を維持するかどうかをテストする、英語と中国語の一致したベンチマークである。 Qwen3、Ministral、GLMモデルの実験では、持続的な英語と中国語のパフォーマンスギャップが明らかになった。 標準中国語から英語への逆翻訳は、しばしばジェネラル・アライメント・セットのパフォーマンスを改善するが、ディフィカルト・アライメント・セットに混合効果をもたらす。
• 参考スコア（独自算出の注目度）: 9.811382608695341
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models perform increasingly well on standardized logical reasoning benchmarks, but whether this ability remains robust beyond English is unclear. We introduce ChLogic, an English--Chinese aligned benchmark that tests whether models preserve logical reasoning performance when the same latent logical structure is expressed in English and diverse Chinese surface realizations. Built from formal logical templates, the benchmark contains three data sets: (i) the General aligned set, derived from 60 General Propositions across nine template families; (ii) the Difficult aligned set, derived from 40 Difficult Problems; and (iii) the Chinese-only set, covering 15 language-specific phenomenon types. Each aligned item pairs one English reference expression with five Chinese realizations. Experiments on Qwen3, Ministral, and GLM models reveal a persistent English--Chinese performance gap. Back-translation from standard Chinese into English often improves performance on the General aligned set, but produces mixed effects on the Difficult aligned set, where Qwen3-32B and GLM-5.1 perform worse after translation. These results indicate that Chinese surface realization, translation artifacts, and model-specific behavior jointly affect multilingual logical reasoning. Overall, ChLogic provides a useful stress test for the robustness of multilingual reasoning.
• Abstract（参考訳）: 大規模言語モデルは、標準化された論理的推論ベンチマークにおいて、ますますよく機能するが、この能力が英語を超えて頑健なままであるかどうかは不明である。 我々は、同じ潜在論理構造が、英語および多種多様な中国語表面実現で表現されているときに、モデルが論理的推論性能を保っているかどうかをテストする、英語と中国語の一致したベンチマークであるChLogicを紹介する。 公式な論理テンプレートから構築されたベンチマークには、以下の3つのデータセットが含まれている。 (i)9つのテンプレートファミリーにまたがる60のジェネラル・プロポーションから派生したジェネラル・アライメント・セット 二 困難問題から派生した難解な整合集合 (iii)中国語のみのセットで、15の言語固有の現象をカバーしている。 各項目は、中国語の5つの実現と1つの英語の参照表現をペアリングする。 Qwen3、Ministral、GLMモデルの実験では、持続的な英語と中国語のパフォーマンスギャップが明らかになった。 標準中国語から英語へのバックトランスレーションはしばしばジェネラル・アライメント・セットのパフォーマンスを改善するが、Qwen3-32B と GLM-5.1 が翻訳後に悪化するディフィカル・アライメント・セットに混合効果をもたらす。 これらの結果は,中国語の表面実現,翻訳,モデル固有の行動が多言語論理的推論に共同で影響を及ぼすことを示している。 全体として、ChLogicは多言語推論の堅牢性に対する有用なストレステストを提供する。

関連論文リスト

• LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening [69.1037790901185]
  現実的な状況シナリオから構築した中国の論理的推論ベンチマークLLMEval-Logicを提案する。 パイプラインのフォワードオーサとエキスパート-オーディット 自然言語アイテムは、参照の形式化とともに、Z3による注釈付き回答を検証し、自然言語から形式へのグレーディングのためのエキスパートルーブリックを構築し、クローズドループの逆行ワークフローを通じて選択されたアイテムを硬化させる。
  論文  参考訳（メタデータ） (2026-05-19T09:40:29Z)
• Language as a Latent Variable for Reasoning Optimization [45.35129925776798]
  LLMは英語中心のバイアスを減らすので、驚くべき傾向が現れます。 モデルの内部推論経路を構造的に修飾する潜在変数として機能する言語を仮定する。 言語変化を暗黙的な探索信号として扱うRLフレームワークであるpolyGRPOを提案する。
  論文  参考訳（メタデータ） (2026-04-23T12:19:14Z)
• UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop [0.17126708168238125]
  本稿では,Urdu推論ベンチマークを開発するために,人間によるループ検証を用いた文脈アンサンブル翻訳フレームワークを提案する。 このフレームワークを用いて、MGSM、MATH-500、CommonSenseQA、OpenBookQAを含む広く採用されている推論および質問応答ベンチマークをUrduに翻訳する。 分析の結果,(1)4つのデータセット,(2)5つのタスク難易度,(3)多様なモデルアーキテクチャ,(4)複数のモデルスケーリング設定,(5)言語整合性テストにおける性能差が明らかになった。
  論文  参考訳（メタデータ） (2026-01-28T19:49:17Z)
• COIG-Writer: A High-Quality Dataset for Chinese Creative Writing with Thought Processes [83.84578306665976]
  大規模な言語モデルは、創造的な文章、特に非英語の文脈において体系的な欠陥を示す。 提案するCOIG-Writerは,多種多様なアウトプットと,その基盤となる思考プロセスの両方をキャプチャする,中国のクリエイティブな文章データセットである。
  論文  参考訳（メタデータ） (2025-10-16T15:01:19Z)
• CDTP: A Large-Scale Chinese Data-Text Pair Dataset for Comprehensive Evaluation of Chinese LLMs [71.01843542502438]
  我々は,中国語大言語モデル(CB-ECLLM)を評価するための総合的ベンチマークを提案する。 CB-ECLLMは、新たに構築された中国データテキストペア(CDTP)データセットに基づいている。 CDTPは700万以上のテキストペアで構成されており、それぞれが1つ以上の対応する3重テキストと、4つの重要なドメインにまたがる合計1500万の3重テキストで構成されている。
  論文  参考訳（メタデータ） (2025-10-07T15:33:52Z)
• Language Mixing in Reasoning Language Models: Patterns, Impact, and Internal Causes [54.96891982093408]
  RLM(Reasoning Language Model)は、チェーン・オブ・シント・プロセスを利用して構造化中間ステップを生成することで、複雑なタスクに優れる。 言語混合、すなわちプロンプト以外の言語からのトークンを含む推論ステップがアウトプットで観測され、性能に影響することが示されている。 本研究では, RLMにおける言語混合に関する最初の体系的研究を行い, そのパターン, 影響, 内部要因を15言語にわたって検討した。
  論文  参考訳（メタデータ） (2025-05-20T18:26:53Z)
• Scaling Synthetic Logical Reasoning Datasets with Context-Sensitive Declarative Grammars [0.6537995248511139]
  複数の言語を結合するフレキシブルなコンテキスト依存ルールを持つ宣言型フレームワークを提案する。 最大32の前提と1つの仮説を選択して一階述語論理問題を構築する。 生成中の意味的制約と述語に対する注意深い英語の動詞化は、自然な英語のタスクを損なうことなく論理的推論を促進することを実証する。
  論文  参考訳（メタデータ） (2024-06-16T18:10:49Z)
• Do We Need Language-Specific Fact-Checking Models? The Case of Chinese [15.619421104102516]
  本稿では,中国語の事例に着目し,言語固有の事実チェックモデルの潜在的なメリットについて検討する。 まず、翻訳に基づく手法と多言語大言語モデルの限界を実証し、言語固有のシステムの必要性を強調した。 文脈情報を組み込んで文書から証拠をよりよく検索できる中国のファクトチェックシステムを提案する。
  論文  参考訳（メタデータ） (2024-01-27T20:26:03Z)
• SLING: Sino Linguistic Evaluation of Large Language Models [34.42512869432145]
  Sling (Sino linguistics) は、中国語における38Kの最小文対を9つの高水準言語現象に分類する。 Sling 上で 18 個の事前訓練された単言語 (BERT-base-zh など) とマルチ言語 (mT5 や XLM など) の言語モデルをテストする。 実験の結果, LMの平均精度は人的性能(69.7%対97.1%)よりはるかに低いが, BERT-base-zhは試験されたLMの最大精度(84.8%)を達成していることがわかった。
  論文  参考訳（メタデータ） (2022-10-21T02:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。