論文の概要: SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling
- arxiv url: http://arxiv.org/abs/2608.00991v1
- Date: Sun, 02 Aug 2026 04:41:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:25.046911
- Title: SCHEDBench: A Benchmark for Evaluating LLM Constraint Faithfulness in Natural-Language Combinatorial Scheduling
- Title（参考訳）: SCHEDBench:自然言語組合せスケジューリングにおけるLLM制約の信頼度評価ベンチマーク
- Abstract要約: SCHEDBenchは、表面形状変化下での制約忠実度をスケジューリングするベンチマークである。
ジョブショップスケジューリング問題、1,132インスタンス、リソース制限された単一および複数モードのプロジェクトスケジューリング問題、ナースロスター/スケジュール問題、カリキュラムのタイムタブル問題にまたがる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper introduces SCHEDBench, a natural-language benchmark for evaluating combinatorial scheduling constraint faithfulness under surface-form variation. Grounded in canonical scheduling instances and solver-derived feasibility and optimality, SCHEDBench assesses whether large language models (LLMs) generate schedules with the same constraint-feasible behavior across varied natural-language (NL) surface forms. SCHEDBench spans 1,132 instances across job-shop scheduling problems (JSP), single and multi-mode resource-constrained project scheduling problems (RCPSP), nurse rostering/scheduling, and curriculum timetabling problems of varying difficulty. Instances are templated into natural language problems using domain-specific templates, themed entities, lexical-syntactic template rephrasing, and constraint-level surface-form variation, with reference solutions verified for feasibility and objective optimality. Across thirteen frontier and open-weight LLMs, we find that models are not reliably invariant to semantically equivalent renderings of the same scheduling problem. Surface-form variation reduces feasibility and induces above-noise shifts in per-instance hard-constraint violations on matched instances. Among the tested isolated axes, constraint reordering yields the clearest above-noise sensitivity.
- Abstract（参考訳）: 本稿では,SCHEDBenchについて紹介する。SCHEDBenchは,表面形状変化下での組合せスケジューリング制約忠実度を評価するための自然言語ベンチマークである。
SCHEDBenchは、標準スケジューリングインスタンスとソルバから派生した実現可能性と最適性に基づいて、大きな言語モデル(LLM)が様々な自然言語(NL)曲面形式にまたがる同じ制約可能な振る舞いでスケジュールを生成するかどうかを評価する。
SCHEDBenchは、ジョブショップスケジューリング問題(JSP)、シングルモードとマルチモードのリソース制約されたプロジェクトスケジューリング問題(RCPSP)、看護師のロスター/スケジューリング、様々な困難を伴うカリキュラムのタイムタブル問題にまたがる1,132のインスタンスにまたがる。
インスタンスは、ドメイン固有のテンプレート、テーマ化されたエンティティ、語彙とシンタクティックのテンプレートの言い換え、制約レベルの表面形状のバリエーションを使用して、自然言語の問題にテンプレート化される。
13のフロンティアとオープンウェイト LLM にまたがって、同じスケジューリング問題のセマンティックに等価なレンダリングにモデルが確実に不変でないことが分かる。
表面形状の変化は実現可能性を低下させ、一致したインスタンスに対するインスタンスごとのハードコントラスト違反において、上記のノイズシフトを誘発する。
試験された孤立軸のうち、制約の再順序付けは、最も高い雑音感度をもたらす。
関連論文リスト
- DScheLLM: Enabling Dynamic Scheduling through a Fine-Tuned Dual-System Large language Model [2.9367859148626945]
本稿では,マルチシステム(高速スロー)推論アーキテクチャにおいて,微調整された大規模言語モデルを活用する動的スケジューリング手法DScheLLMを提案する。
動的イベントを処理するために、統合された大きな言語モデルベースのフレームワークが構築されている。
標準的なジョブショップスケジューリングベンチマークの実験的評価は、高速思考モードが高品質なスケジュールを効率的に生成できることを実証している。
論文 参考訳（メタデータ） (2026-01-14T03:02:22Z) - Programming over Thinking: Efficient and Robust Multi-Constraint Planning [54.77940831026738]
SCOPEは、クエリ固有の推論をジェネリックコード実行から切り離すフレームワークである。
SCOPEは、コストとレイテンシを下げながら最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-01-14T02:58:07Z) - KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。
KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。
WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-10T17:45:42Z) - When Words Change the Model: Sensitivity of LLMs for Constraint Programming Modelling [1.052782170493037]
大きな言語モデルは、古典的なベンチマークのモデルを自動的に生成する素晴らしい結果を示している。
多くの標準CP問題は、これらのモデルのトレーニングデータに含まれる可能性が高い。
LLMは構文的に妥当で意味論的に妥当なモデルを生成することができるが、その性能は文脈的・言語学的に著しく低下する。
論文 参考訳（メタデータ） (2025-11-18T10:40:32Z) - FACTS: Table Summarization via Offline Template Generation with Agentic Workflows [11.885086835801523]
FACTSはオフラインのテンプレートを生成し、自然言語の要約にレンダリングでき、複数のテーブルで再利用できる。
これにより、再利用可能なオフラインテンプレートによる高速な要約、実行可能sqlクエリによる正確な出力、テーブルスキーマのみをLLMに送信することでプライバシコンプライアンスが可能になる。
論文 参考訳（メタデータ） (2025-10-15T10:24:49Z) - CP-Bench: Evaluating Large Language Models for Constraint Modelling [6.250460397062786]
制約プログラミング(CP)は、問題を解くために広く使われているが、その中核となるプロセス、すなわち制約モデリングは、かなりの専門知識を必要とし、広く採用される際のボトルネックと考えられている。
近年,問題記述を実行可能な制約モデルに変換するために,Large Language Models (LLMs) を用いて検討されている。
制約モデリングのための既存の評価データセットは、しばしば、現実のシナリオの多様性を捉えない、小さく、均一で、ドメイン固有のインスタンスに限られる。
この研究はCP-Benchの導入によってこのギャップに対処する。CPコミュニティから得られた様々な既知の問題を含む新しいベンチマークであるCP-Benchは構造化されている。
論文 参考訳（メタデータ） (2025-06-06T12:56:02Z) - LLM-Symbolic Integration for Robust Temporal Tabular Reasoning [69.27153114778748]
本研究では,システムおよび制御された評価のための合成データセットであるTempTabQA-Cを紹介する。
この構造化アプローチにより、LLM(Large Language Models)はsqlクエリの生成と実行を可能にし、一般化とバイアス軽減の強化を行う。
論文 参考訳（メタデータ） (2025-06-06T05:14:04Z) - Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo [90.78001821963008]
広い範囲のLMアプリケーションは、構文的制約や意味論的制約に適合するテキストを生成する必要がある。
我々は、連続モンテカルロ(SMC)に基づく制御LM生成のためのアーキテクチャを開発する。
我々のシステムはLew et al. (2023) のフレームワーク上に構築されており、言語モデル確率型プログラミング言語と統合されている。
論文 参考訳（メタデータ） (2025-04-17T17:49:40Z) - Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling [90.86991492288487]
トークンの制約を評価するのは 違法にコストがかかる
LCDは文字列上のグローバル分布を歪め、ローカル情報のみに基づいてトークンをサンプリングすることができる。
我々のアプローチは最先端のベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2025-04-07T18:30:18Z) - Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。
Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。
実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
論文 参考訳（メタデータ） (2024-10-31T16:34:03Z) - Automated Conversion of Static to Dynamic Scheduler via Natural Language [3.4748713192043876]
我々は、動的スケジューリング(RAGDyS)の制約を実装するプロセスを自動化するために、検索型拡張生成(RAG)ベースのLLMモデルを提案する。
本フレームワークは,エンドユーザーを対象とした数学的モデリングと計算負荷に関する技術的複雑さの最小化を目的としている。
論文 参考訳（メタデータ） (2024-05-08T04:07:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。