論文の概要: First Things First: Teaching LLM-Based Agents to Prioritize Must-Haves before Nice-to-Haves

• arxiv url: http://arxiv.org/abs/2609.05224v1
• Date: Fri, 04 Sep 2026 14:54:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:24.077359
• Title: First Things First: Teaching LLM-Based Agents to Prioritize Must-Haves before Nice-to-Haves
• Title（参考訳）: まず第一に、LSMをベースとしたエージェントにNice-to-Haveを優先させる方法を教える
• Abstract要約: 我々は3,649個の慎重に構築された問題に対して,最先端のマルチモーダル言語モデル (MLLM) を評価する。 既存のMLLMはあらゆるシナリオで破滅的な失敗を示す。 マルチプライオリティなユーザ要求に対する推論を明示的に最適化する,First Things First Reinforcement Learning FTF-rlを提案する。
• 参考スコア（独自算出の注目度）: 29.390999668963122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in multimodal large language models (MLLMs) has fueled significant enthusiasm in their potential to act as autonomous agents for real-world tasks. However, scenarios requiring agents to fulfill users' complex, structured requirements remain largely underexplored. In this work, we examine reasoning tasks under three distinct requirement scenarios: (i) Must-have requirements uniquely determine a unique feasible solution; (ii) Multiple answers satisfy the must-have requirements and are prioritized via the nice-to-have requirements; and (iii) No candidate solution satisfies the must-have requirements, in which case the agent should abstain from generating a response. We evaluate state-of-the-art MLLMs on 3,649 carefully constructed problems that reflect realistic service scenarios, including e-commerce, booking, and map-based or ride-hailing. Our evaluation reveals that existing MLLMs exhibit catastrophic failures in all scenarios. They frequently misinterpret task requirements, violate must-have requirements, and produce invalid solutions. To address this critical gap, we propose First Things First Reinforcement Learning FTF-rl that explicitly optimizes reasoning over multi-priority user requirements. Experimental results show that our method substantially improves the task success rate compared to strong baselines. Moreover, FTF-rl yields general effectiveness on popular logical and mathematical reasoning tasks, including LogicVista, MathVision, and InfoQA. Our findings suggest that enhancing requirement-aware reasoning capability provides a simple yet effective pathway to improve generalization of MLLM agents. Code and dataset are available at https://github.com/claire62/FTF-RL.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)の最近の進歩は、現実のタスクの自律的エージェントとして機能する可能性に大きな熱意を喚起している。 しかし、複雑で構造化された要求を満たすためにエージェントを必要とするシナリオは、ほとんど未調査のままである。 本研究では,3つの異なる要件シナリオ下での推論タスクについて検討する。 一 要求事項が一意に実現可能な解を定めること。 二 複数の回答が必需要件を満たし、好適な要件により優先されること。 三 候補ソリューションが、応答の発生を妨げなければならない場合において、必須条件を満たすものがないこと。 我々は,eコマース,予約,マップベースの配車サービスなど,現実的なサービスシナリオを反映した3,649件のMLLMを慎重に構築した。 以上の結果から,既存のMLLMは全シナリオで破滅的な障害を示すことが明らかとなった。 彼らはしばしばタスク要件を誤解し、必須要件に違反し、無効なソリューションを生成します。 この重要なギャップに対処するために,マルチプライオリティユーザ要求に対する推論を明示的に最適化するFirst Things First Reinforcement Learning FTF-rlを提案する。 実験結果から,本手法は強いベースラインに比べてタスク成功率を大幅に向上することが示された。 さらに、FTF-rlはLogicVista、MathVision、InfoQAなど、一般的な論理的および数学的推論タスクに一般的な効果をもたらす。 本研究は,要求認識推論能力の向上が,MLLMエージェントの一般化を促進するための簡便かつ効果的な経路となることを示唆する。 コードとデータセットはhttps://github.com/claire62/FTF-RLで公開されている。

関連論文リスト

• A2RBench: An Automatic Paradigm for Formally Verifiable Abstract Reasoning Benchmark Generation [59.98516959731531]
  抽象推論能力は、抽象ルールを抽出し適用するためのLLMの知性と能力を反映する。 既存のベンチマークは、高価な手作業のアノテーション、そのスケールの制限、あるいは真の推論ではなく暗記のリスク測定に頼っている。 我々はA2RBenchという名の自動パイプラインを導入し、生成、拡張、評価、分析を行う。
  論文  参考訳（メタデータ） (2026-05-17T06:14:20Z)
• REAgent: Requirement-Driven LLM Agents for Software Issue Resolution [35.30650311049838]
  課題解決は、与えられた課題記述からパッチを自動的に生成することを目的としている。 本稿では,パッチ生成をガイドする要件駆動型エージェントフレームワークREAgentを提案する。
  論文  参考訳（メタデータ） (2026-04-08T09:22:30Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
  LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2025-05-22T17:31:10Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Elicitron: An LLM Agent-Based Simulation Framework for Design Requirements Elicitation [38.98478510165569]
  本稿では,Large Language Models (LLMs) を利用した新たなフレームワークを提案する。 LLMは多数のシミュレーションユーザ(LLMエージェント)を生成するために使用され、より広い範囲のユーザニーズの探索を可能にする。
  論文  参考訳（メタデータ） (2024-04-04T17:36:29Z)
• Understanding the Weakness of Large Language Model Agents within a Complex Android Environment [21.278266207772756]
  大規模言語モデル(LLM)は、ブラウザやゲームのようなドメイン固有のソフトウェア内で複雑なタスクを実行するインテリジェントエージェントに権限を与えている。 LLMはオペレーティングシステムのような汎用ソフトウェアシステムに適用する際の3つの主要な課題に直面している。 これらの課題は、現代的なオペレーティングシステム上でLLMエージェントを評価するために設計された環境とベンチマークであるAndroidArenaを動機付けている。
  論文  参考訳（メタデータ） (2024-02-09T18:19:25Z)
• Classification, Challenges, and Automated Approaches to Handle Non-Functional Requirements in ML-Enabled Systems: A Systematic Literature Review [10.09767622002672]
  本稿では,これまで検討されてきた非機能要件の分類と,ML対応システムでモデルを開発する上で直面する課題の2つを対象とする体系的文献レビューを提案する。 本報告では,30種類の非機能要件を同定し,これらを6つの主要クラスに分類した。 また、23以上のソフトウェアエンジニアリング課題のカタログを編集し、機械学習対応システムの非機能要件についてさらなる研究を行ないました。
  論文  参考訳（メタデータ） (2023-11-29T09:45:41Z)
• TOP-Training: Target-Oriented Pretraining for Medical Extractive Question Answering [53.92585020805746]
  医学領域における抽出的質問応答に関する研究(医学EQA) この問題には、(i)ドメイン特異性と(ii)抽出に基づく回答スタイルの2つの主な課題がある。 対象指向の事前学習パラダイムであるTOP-Trainingを提案する。
  論文  参考訳（メタデータ） (2023-10-25T20:48:16Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。