論文の概要: Automated Reformulation of Robust Optimization via Memory-Augmented Large Language Models
- arxiv url: http://arxiv.org/abs/2605.11813v1
- Date: Tue, 12 May 2026 09:06:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.740191
- Title: Automated Reformulation of Robust Optimization via Memory-Augmented Large Language Models
- Title(参考訳): メモリ拡張大言語モデルによるロバスト最適化の自動化
- Authors: Jinbiao Chen, Shuang Jin, Guoyun Zhang, Junyu Zhang, Guanyi Wang, Hanzhang Qin,
- Abstract要約: 大規模言語モデル(LLM)は、自動最適化の定式化を約束している。
我々は,コアRO再構成タスクのための自動データ生成パイプラインと,ROアプリケーションタスクのためのキュレートデータセットを備えたベンチマークであるAutoRO-Benchを開発した。
本稿では,構造化されたテキストエクスペリエンスメモリを自律的に構築する,チューニング不要なメモリ拡張フレームワークであるAutoREMを提案する。
- 参考スコア(独自算出の注目度): 18.745809920303724
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robust optimization (RO) provides a principled framework for decision-making under uncertainty, but its practical use is often limited by the need to manually reformulate uncertain optimization models into tractable deterministic counterparts. Recent large language models (LLMs) have been shown promising for automating optimization formulation, yet RO reformulation remains challenging because it requires precise multi-step reasoning and mathematically consistent transformations. To facilitate systematic evaluation of LLM-based reformulation, for which no dedicated benchmark currently exists, we develop AutoRO-Bench, a benchmark featuring an automated data generation pipeline for the core RO reformulation task and a curated dataset for the RO application task. To address the reformulation challenge, we propose Automated Reformulation with Experience Memory (AutoREM), a tuning-free memory-augmented framework that autonomously builds a structured textual experience memory by reflecting on past failed trajectories through a tailored offline adaptation procedure. AutoREM requires neither domain-specific expert knowledge nor parameter updates, and the resulting memory readily transfers across different base LLMs. Experimental results show that AutoREM consistently improves the accuracy and efficiency of RO reformulation across in-distribution datasets, out-of-distribution datasets, and diverse base LLMs.
- Abstract(参考訳): ロバスト最適化(RO)は不確実性の下での意思決定の原則的枠組みを提供するが、不確実性のある最適化モデルを手動で決定性のある決定モデルに書き換える必要性により、その実用性は制限されることが多い。
近年の大規模言語モデル (LLM) は最適化定式化の自動化に有望であることが示されているが、正確な多段階推論と数学的に一貫した変換を必要とするため、RO再構成は依然として困難である。
専用ベンチマークが存在しないLLMベースの改質の体系的評価を容易にするため,コアRO改質タスクのための自動データ生成パイプラインとROアプリケーションタスクのためのキュレートデータセットを備えたベンチマークであるAutoRO-Benchを開発した。
この改革課題に対処するため,自動修正メモリ(Automated Reformulation with Experience Memory, AutoREM)を提案する。
AutoREMはドメイン固有の専門家の知識もパラメータの更新も必要とせず、結果のメモリは異なるベースLLM間で簡単に転送される。
実験結果から, AutoREM は分布内データセット, 分布外データセット, 多様な基底LPM のRO再構成の精度と効率を一貫して改善することが示された。
関連論文リスト
- Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。
現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。
本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
論文 参考訳(メタデータ) (2026-04-02T14:19:47Z) - Guided by Trajectories: Repairing and Rewarding Tool-Use Trajectories for Tool-Integrated Reasoning [65.10602992874787]
AutoTrajはツール使用トラジェクトリの修復と報酬によってTIRを自動的に学習するフレームワークである。
実世界のベンチマークの実験では、AutoTrajの有効性が示されている。
論文 参考訳(メタデータ) (2026-01-30T14:42:04Z) - Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。
DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。
理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
論文 参考訳(メタデータ) (2025-05-05T23:54:53Z) - Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。
既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。
本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
論文 参考訳(メタデータ) (2025-04-07T15:27:37Z) - ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。
本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。
本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
論文 参考訳(メタデータ) (2025-03-24T13:11:22Z) - IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。
LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。
実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
論文 参考訳(メタデータ) (2025-02-25T01:52:37Z) - Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models [25.390142515721802]
ERRRフレームワークは、検索-拡張生成(RAG)システムにおける事前検索情報ギャップを橋渡しするように設計されている。
RAGで使用される従来のクエリ最適化手法とは異なり、ERRRフレームワークはLarge Language Models (LLM) から知識を抽出することから始まる。
論文 参考訳(メタデータ) (2024-11-12T14:12:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。