論文の概要: SAILOR: Solver-Assisted Interactive LLM-based Optimization Recovery
- arxiv url: http://arxiv.org/abs/2609.13945v1
- Date: Sat, 12 Sep 2026 13:40:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.616944
- Title: SAILOR: Solver-Assisted Interactive LLM-based Optimization Recovery
- Title（参考訳）: SAILOR:ソルバーを用いた対話型LLM最適化
- Abstract要約: 言語モデルは記述をコードに変換することができるが、必要な値がない場合は、停止するか、推測する必要がある。
このような数値選択を検知する概念実証システムであるSAILORを提案する。
我々は、7つのベンチマークから1,723インスタンスのパイプラインを評価する。
- 参考スコア（独自算出の注目度）: 7.103570275225352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural-language descriptions of optimization problems may be incomplete or vague about numerical information that a solver requires, including costs, capacities, demands, bounds, and penalties. A language model can translate the description into code, but when a required value is absent it must either stop or guess. We present SAILOR, a proof-of-concept system that detects such unsupported numerical choices, asks the user targeted follow-up questions, and updates the optimization model before returning a solution. Questions are prioritized using uncertainty and solver-derived estimates of how strongly each missing value affects the current model. We evaluate the pipeline on 1,723 instances from seven masked benchmarks using an idealized simulator that returns ground-truth values. Exact objective-value agreement ranges from 27.0% to 87.6% across datasets, with 1.4--5.7 questions per instance on average. These results establish feasibility under controlled branch-and-reveal feedback; they do not measure performance with human users or general structural model repair. Code is available at: https://github.com/sshaghayeghs/SAILOR.
- Abstract（参考訳）: 最適化問題の自然言語による記述は、コスト、能力、要求、境界、刑罰など、解決者が要求する数値情報について不完全または曖昧である可能性がある。
言語モデルは記述をコードに変換することができるが、必要な値がない場合は、停止するか、推測する必要がある。
提案する概念実証システムSAILORは,そのような数値選択を検知し,ユーザが対象とするフォローアップ質問を問うとともに,解を返す前に最適化モデルを更新する。
質問は不確実性と解決者による各欠落した値が現在のモデルにどの程度強く影響するかの見積によって優先順位付けされる。
我々は、7つのマスク付きベンチマークから1,723インスタンスのパイプラインを、グランドトルース値を返却する理想化されたシミュレータを用いて評価する。
客観的-バリュー合意はデータセット全体で27.0%から87.6%の範囲で、インスタンス当たり平均1.4～5.7の質問がある。
これらの結果は、制御されたブランチ・アンド・リベラルフィードバックの下で実現可能性を確立しており、人間のユーザによるパフォーマンスの測定や、一般的な構造モデル修復は行わない。
コードは、https://github.com/sshaghayeghs/SAILOR.comで入手できる。
関連論文リスト
- xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。
これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。
最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
論文 参考訳（メタデータ） (2026-09-07T17:30:58Z) - Ask Before You Optimize: Dynamic Pre-Formulation Clarification for Interactive Optimization [11.777689650316232]
本稿では,事前定式化のためのベンチマークであるOR-Clarifyを紹介する。
本稿では,未解決な定式化クリティカルギャップを識別する2段階フレームワークInterOPTを提案する。
論文 参考訳（メタデータ） (2026-09-04T15:19:38Z) - Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks [19.555897987977445]
LLM Nominal Response Model (LLM-NRM)を導入する。
誤った回答は、等価な誤りを表すのではなく、明瞭で有用な測定情報を持っていることを示す。
論文 参考訳（メタデータ） (2026-08-03T23:59:39Z) - Beyond Inference-Time Search: Reinforcement Learning Synthesizes Reusable Solvers [0.0]
大規模言語モデル(LLM)は一般的に、各インスタンスを個別に解決する推論時プロシージャとして最適化にアプローチする。
本稿では,制約付きクナプサックの制御変種であるSDS(Synergistic Dependency Selection)について考察する。
Qwen2.5-Coder-14B-Instruct with Group Relative Policy Optimization using a feasibility-gated reward and light Structure scaffolding。
論文 参考訳（メタデータ） (2026-05-18T13:21:40Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。
オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。
予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
論文 参考訳（メタデータ） (2025-09-12T02:53:57Z) - Predictive Analytics for Collaborators Answers, Code Quality, and Dropout on Stack Overflow [5.4414562674321765]
予測モデルの開発にStack Overflowを使用した以前の研究では、しばしば3-5モデルの限られたベンチマークや任意の選択方法が採用されていた。
本研究は,ユーザが回答する可能性のある質問数,コード品質違反,ドロップアウト状況など,3つのタスクにまたがる21のアルゴリズムを評価した。
論文 参考訳（メタデータ） (2025-06-23T06:23:12Z) - Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。
文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。
モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文 参考訳（メタデータ） (2025-06-13T18:08:54Z) - None of the Others: a General Technique to Distinguish Reasoning from Memorization in Multiple-Choice LLM Evaluation Benchmarks [0.9831489366502301]
本稿では,これまで見られたトークンや概念から正解を完全に解離する,複数選択質問に対する一般的な変分手法を提案する。
この手法を用いて、英語とスペイン語で利用可能な2つのデータセットに基づいて、最先端のプロプライエタリおよびオープンソースLLMを評価する。
その結果, MMLUでは平均57%, UNED-Access 2024では50%の精度低下がみられた。
論文 参考訳（メタデータ） (2025-02-18T14:32:44Z) - Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - OptiBench Meets ReSocratic: Measure and Improve LLMs for Optimization Modeling [62.19438812624467]
大規模言語モデル (LLM) は数学的推論における問題解決能力を示した。
本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるOptiBenchを提案する。
論文 参考訳（メタデータ） (2024-07-13T13:27:57Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。