論文の概要: ChitraMiti: Benchmarking Visual Grounding and Modality Reliance in Bengali Geometric Reasoning
- arxiv url: http://arxiv.org/abs/2609.12509v1
- Date: Fri, 11 Sep 2026 07:13:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.651503
- Title: ChitraMiti: Benchmarking Visual Grounding and Modality Reliance in Bengali Geometric Reasoning
- Title（参考訳）: ChitraMiti: Bengali Geometric Reasoningにおけるビジュアルグラウンドとモダリティの信頼性のベンチマーク
- Abstract要約: マルチモーダルな数学的推論のための視覚言語モデル(VLM)の評価は低リソース言語に限られている。
我々は,12,874個のベンガル平面幾何学問題の合成ベンチマークであるChitraMiti-12.8kを紹介する。
記述のみの性能は図式+記述性能と統計的に区別できないことを示す。
- 参考スコア（独自算出の注目度）: 1.4174475093445233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Evaluation of vision-language models (VLMs) for multimodal mathematical reasoning remains limited for low-resource languages and for geometry problems that require reading a diagram and a question together. We introduce ChitraMiti-12.8k, a synthetic benchmark of 12,874 Bengali planar geometry problems paired with structured 15-attribute descriptions, and NCTB-500, a complementary set of 500 diagrams manually extracted from Bengali school textbooks. Using a three-phase protocol that separates diagram-only, diagram-plus-description, and description-only inputs, we show across five open-weight and closed-source VLMs that description-only performance is statistically indistinguishable from diagram-plus-description performance, establishing structured descriptions as a sufficient textual proxy for controlled evaluation. Despite this, models remain poor at cross-modal verification, frequently misled by a swapped spatial relation even when they answer the unmodified item correctly. We further evaluate supervised adaptation on ChitraMiti-12.8k, finding that fine-tuning improves performance on both ChitraMiti-1k and NCTB-500, although a substantial gap to the strongest zero-shot model remains. Together, ChitraMiti-12.8k, NCTB-500, and our evaluation protocol offer a standardized way to study Bengali multimodal geometry reasoning and, more broadly, whether VLMs actually check their text against what they see. Our dataset and code are publicly available on Hugging Face at https://huggingface.co/datasets/RaiyanKhaan/ChitraMiti.
- Abstract（参考訳）: マルチモーダルな数学的推論のための視覚言語モデル(VLM)の評価は、低リソース言語や図と質問を一緒に読む必要がある幾何学的問題に限られている。
我々は,12,874のベンガル平面幾何学問題の合成ベンチマークであるChitraMiti-12.8kと,ベンガルの教科書から手作業で抽出した500図を補完するNCTB-500を紹介する。
図のみ、図余剰記述、記述のみの入力を分離する3相プロトコルを用いて、記述のみの性能が図余剰記述性能と統計的に区別できないことを5つのオープンウェイトおよびクローズドソースVLMで示し、構造化記述を制御評価のための十分なテキストプロキシとして確立する。
それにもかかわらず、モデルはクロスモーダル検証では貧弱であり、修正されていない項目に正しく答える場合でも、スワップされた空間関係によってしばしば誤解される。
さらに,ChitraMiti-1kとNCTB-500の微調整により性能が向上するが,最強のゼロショットモデルとの大きな差は残る。
ChitraMiti-12.8k、NCTB-500、および我々の評価プロトコルは、ベンガルのマルチモーダルな幾何学的推論を研究するための標準化された方法を提供し、より広義に、VLMが実際にテキストを見ているものに対してチェックするかどうかを示している。
私たちのデータセットとコードは、Hugging Face at https://huggingface.co/datasets/RaiyanKhaan/ChitraMiti.comで公開されています。
関連論文リスト
- CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions [73.85100620647452]
CoT推論は大規模言語モデル(LLM)を劇的に改善した
CoVA-SFTは51.9Kサンプルからなる高度に構造化されたコーパスであり、5つの異なるレイアウトファミリーと17の複雑なタスクにわたる222K以上のマルチモーダル推論ステップを含んでいる。
明確な論理式、エージェントレンダリング、検証ループを提供することで、CoVA-SFTはテキストと視覚的抽象化をインターリーブするマルチモーダル言語モデルを教える。
論文 参考訳（メタデータ） (2026-08-29T00:03:13Z) - Enginuity: A Dataset and Benchmark for Vision-Language Understanding of Engineering Diagrams [8.001015579487921]
Enginuityは、エンジニアリング図上でビジュアル言語モデルを評価するための、最初のオープンデータセットとベンチマークである。
我々は、米軍部隊のコーパス上の2つのタスクを定義し、構造化された部品テーブル抽出と自由形視覚図質問応答というマニュアルを修復する。
ゼロショットおよびチェーン・オブ・フォアプロンプトによる4つのフロンティアVLMの評価を行った。
論文 参考訳（メタデータ） (2026-06-02T09:54:03Z) - GeoSym127K: Scalable Symbolically-verifiable Synthesis for Multimodal Geometric Reasoning [42.5195033452088]
GeoSym Engineは、自動化されスケーラブルなニューロシンボリックフレームワークである。
正確な記号的基底真理を導き出し、堅牢なレンダリングパイプラインとシームレスに統合する。
GeoSym-Benchは、厳密な評価のための511の複雑なサンプルからなる専門家によるスイートである。
論文 参考訳（メタデータ） (2026-05-10T13:13:47Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - Teaching Language Models to Reason with Tools [73.21700643314917]
emphHint-Engineeringは、推論経路内の最適点に様々なヒントを戦略的に注入する新しいデータ合成戦略である。
CoRTは効率を大幅に向上させ、32Bモデルのトークン使用量を約30%削減し、1.5Bモデルのトークン使用量を50%削減した。
論文 参考訳（メタデータ） (2025-10-23T08:41:44Z) - CoRT: Code-integrated Reasoning within Thinking [44.778344623138025]
o1やDeepSeek-R1のようなLarge Reasoning Models(LRM)は、長いチェーン・オブ・シント(CoT)による自然言語推論において顕著な進歩を示している。
Code Interpreter(CI)は、モデルの内部テキスト表現以外の外部知識を提供する。
本稿では,CIを効果的かつ効率的に活用するためのLRM教育のためのポストトレーニングフレームワークであるCoRTを紹介する。
論文 参考訳（メタデータ） (2025-06-11T14:59:02Z) - GTR-CoT: Graph Traversal as Visual Chain of Thought for Molecular Structure Recognition [60.76623665324548]
GTR-Mol-VLMは、2つの重要な革新を特徴とする新しいフレームワークである。
シーケンシャルな原子結合予測を通じて分子グラフを段階的に解析することで、人間の推論をエミュレートする。
MolRec-BenchはOCSRにおけるグラフパーシング精度の詳細な評価のために設計された最初のベンチマークである。
論文 参考訳（メタデータ） (2025-06-09T08:47:10Z) - Falcon2-11B Technical Report [12.473984346805011]
5兆以上のトークンでトレーニングされた基盤モデルであるFalcon2-11Bと、ビジョン・トゥ・テキストモデルであるFalcon2-11B-vlmを紹介する。
我々は,多段階アプローチによるFalcon2-11Bの訓練中に得られた知見を報告する。
また,学習期間中のバッチサイズを倍増させる効果と,学習率によるトレーニング損失のスパイクの影響を報告する。
論文 参考訳（メタデータ） (2024-07-20T14:23:15Z) - Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence [80.6840060272386]
本稿では,意味的対応のための幾何学的認識の重要性を明らかにする。
この情報を活用することで,意味的対応性能が著しく向上することを示す。
提案手法は,SPair-71kデータセット上で,65.4(ゼロショット)と85.6(教師)のPCK@0.10スコアを達成する。
論文 参考訳（メタデータ） (2023-11-28T18:45:13Z) - Compact Graph Structure Learning via Mutual Information Compression [79.225671302689]
グラフ構造学習(GSL)は、グラフニューラルネットワーク(GNN)のグラフ構造と学習パラメータを最適化する能力に大きな注目を集めている。
我々は、MI圧縮によるコンパクトGSLアーキテクチャ、CoGSLを提案する。
クリーンで攻撃的な条件下で複数のデータセットに対して広範な実験を行い、CoGSLの有効性とロバスト性を実証した。
論文 参考訳（メタデータ） (2022-01-14T16:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。