論文の概要: BANGLAPLAN: A Benchmark for Constraint-Based Planning and Decision-Making in Bangla

• arxiv url: http://arxiv.org/abs/2610.19704v1
• Date: Wed, 14 Oct 2026 07:32:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.003458
• Title: BANGLAPLAN: A Benchmark for Constraint-Based Planning and Decision-Making in Bangla
• Title（参考訳）: BANGLAPLAN: バングラの制約に基づく計画と意思決定のためのベンチマーク
• Abstract要約: 大規模言語モデル(LLM)は、アポイントメントや計画、限られたリソースの割り当てを支援する。 明確な制約の下でバングラで計画と意思決定を評価するための既存のベンチマークは、まだ不足している。 BANGLAPLANはバングラデシュの日常生活と機関に根ざした10のタスクファミリーを対象とした1000の課題のベンチマークである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) increasingly help users arrange appointments, plan journeys, and allocate limited resources. These tasks require models to satisfy constraints on time, cost, capacity, and order, or determine that no feasible solution exists. Bangla is the world's seventh most widely spoken language, and existing benchmarks cover many language and reasoning tasks. However, benchmarks for evaluating planning and decision-making in Bangla under explicit constraints remain lacking. We introduce BANGLAPLAN, a benchmark of 1,000 problems across ten task families grounded in everyday life and institutions in Bangladesh. It includes feasible and infeasible problems in four language registers: everyday, formal, colloquial, and Bangla--English mixed. Answers cover eight structured types, including schedules, routes, allocations, and ordered steps, in a common JSON format. We construct the benchmark through language-model-assisted drafting and independent human validation. We evaluate 11 open-weight and proprietary model configurations using exact match, separately reporting feasible-case accuracy, infeasibility detection, and format errors. We find a large performance gap: GPT-6.1 Sol achieves 98.7% accuracy and Qwen3.5-27B with thinking reaches 80.3%, while direct-answer configurations score at most 30.9%. Seven of eleven configurations perform below the always-``infeasible'' baseline. Our findings also suggest that harder problems primarily reduce plan-construction accuracy, while infeasibility detection remains more robust. BANGLAPLAN provides a reproducible basis for evaluating planning and decision-making in Bangla. BANGLAPLAN is available at: https://github.com/mrayhanulmasud/banglaplan.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、アポイントメントや計画、限られたリソースの割り当てを支援する。 これらのタスクは、時間、コスト、キャパシティ、順序の制約を満たすモデルを必要とする。 バングラ語は世界で7番目に広く話されている言語であり、既存のベンチマークは多くの言語と推論タスクをカバーする。 しかし、明確な制約の下でバングラの計画と意思決定を評価するためのベンチマークは、まだ不足している。 BANGLAPLANはバングラデシュの日常生活と機関に根ざした10のタスクファミリーを対象とした1000の課題のベンチマークである。 日常、形式、口語、およびバングラ英語の4つの言語レジスターで実現不可能で実現不可能な問題を含んでいる。 回答は、スケジュール、ルート、アロケーション、順序付けられたステップを含む8つの構造化されたタイプを共通のJSON形式でカバーする。 言語モデル支援のドラフトと独立した人間の検証によってベンチマークを構築した。 11個のオープンウェイトおよびプロプライエタリなモデル構成を正確なマッチングを用いて評価し,実行可能性の精度,実現可能性の検出,フォーマットエラーを別々に報告した。 GPT-6.1 Solは98.7%の精度を達成し、Qwen3.5-27Bは80.3%に達した。 11のコンフィグレーションのうち7つは、常に`infeasible'のベースライン以下で実行される。 また, 難易度は計画構築の精度を低下させるが, 不確実性検出は引き続き頑健であることが示唆された。 BANGLAPLANはバングラの計画と意思決定を評価する再現可能な基盤を提供する。 BANGLAPLANは、https://github.com/mrayhanulmasud/banglaplan.comで利用可能である。

関連論文リスト

• Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation [0.0]
  トレーニング後の量子化は、Large Language Models(LLM)のメモリフットプリントを低くし、推論を高速化する。 バングラ語のような形態学的に複雑な低リソース言語についても、同じことが当てはまるかどうかは定かではない。 Qwen-2.5-7B, LLaMA-3.1-8B, GPT-OSS-20Bの3つのモデルファミリを完全精度と3種類の量子化形式で評価した。
  論文  参考訳（メタデータ） (2026-08-25T14:36:09Z)
• GSM-Plus-BN: A Perturbation-Based Benchmark for Bangla Mathematical Reasoning in Large Language Models [0.06157382820537719]
  大規模言語モデル(LLM)における数学的推論の評価は、主に英語のような高リソース言語に焦点を当てている。 本研究は,ベンガルの新たな摂動型数学的データセットであるGSM-Plus-BNを紹介する。 我々は、9000個の評価サンプルのベンチマークを用いて、6つのオープンソースのLCM Qwen3-32B, Llama-3.1-8B-Instant, Llama-3.3-70B-Versatile, Llama-4-Scout-17B-16E-Instruct, GPT-OSS-120B, GPT-OSS-20Bを評価した。
  論文  参考訳（メタデータ） (2026-07-14T20:23:27Z)
• PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models [52.48858778580074]
  計画は大規模言語モデル(LLM)の基本的な機能である PlanningBenchは、評価とトレーニングの両方のためのスケーラブルで多様な検証可能な計画データを生成するためのフレームワークである。
  論文  参考訳（メタデータ） (2026-05-20T08:10:15Z)
• Programming over Thinking: Efficient and Robust Multi-Constraint Planning [54.77940831026738]
  SCOPEは、クエリ固有の推論をジェネリックコード実行から切り離すフレームワークである。 SCOPEは、コストとレイテンシを下げながら最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-01-14T02:58:07Z)
• FastPOS: Language-Agnostic Scalable POS Tagging Framework Low-Resource Use Case [0.0]
  このフレームワークは、バングラとヒンディーのPOSカテゴリ全体で96.85パーセントと97%のトークンレベルの精度を実現している。 モジュラーおよびオープンソース設計は、モデル設計とチューニングオーバーヘッドを低減しつつ、言語間の迅速な適応を可能にする。
  論文  参考訳（メタデータ） (2025-11-30T05:48:12Z)
• Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning [0.0]
  ベンガル数学語問題(MWP)の解法は、自然言語処理(NLP)において依然として大きな課題である。 これまで、人間に注釈を付けたBengaliデータセットは、このタスクに対処していない。 8792個のベンガルMWPのデータセットであるSOMADHANを開発した。
  論文  参考訳（メタデータ） (2025-05-27T15:47:10Z)
• NATURAL PLAN: Benchmarking LLMs on Natural Language Planning [109.73382347588417]
  本稿では,3つのタスク – トリップ計画,ミーティング計画,カレンダースケジューリング – を含む,自然言語の現実的な計画ベンチマークであるNATURAL PLANを紹介する。 我々は、Google Flights、Google Maps、Google Calendarなどのツールからの出力を、モデルに対するコンテキストとして提供することによって、タスクに関する完全な情報を備えたLCMの計画能力に焦点をあてる。
  論文  参考訳（メタデータ） (2024-06-06T21:27:35Z)
• TravelPlanner: A Benchmark for Real-World Planning with Language Agents [63.199454024966506]
  我々は,旅行計画に焦点を当てた新しい計画ベンチマークであるTravelPlannerを提案する。 豊富なサンドボックス環境、400万近いデータレコードにアクセスするためのさまざまなツール、計画意図とリファレンスプランを慎重にキュレートした1,225のツールを提供する。 包括的評価では、現在の言語エージェントがそのような複雑な計画タスクを処理できないことが示されており、GPT-4でさえ0.6%の成功率しか達成できない。
  論文  参考訳（メタデータ） (2024-02-02T18:39:51Z)
• DeMuX: Data-efficient Multilingual Learning [57.37123046817781]
  DEMUXは、大量の重複しない多言語データからラベルを付けるための正確なデータポイントを規定するフレームワークである。 エンドツーエンドのフレームワークは言語に依存しず、モデル表現を記述し、多言語的ターゲット設定をサポートしています。
  論文  参考訳（メタデータ） (2023-11-10T20:09:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。