論文の概要: Beyond Accuracy: Disentangling Decomposition from Typed-State Quality Assurance in Multi-Agent LLM Pipelines
- arxiv url: http://arxiv.org/abs/2610.31280v1
- Date: Thu, 22 Oct 2026 13:46:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.39183
- Title: Beyond Accuracy: Disentangling Decomposition from Typed-State Quality Assurance in Multi-Agent LLM Pipelines
- Title（参考訳）: 精度を超えて:マルチエージェントLLMパイプラインのタイプ状態品質保証から分解を遠ざける
- Abstract要約: マルチエージェントのLCMパイプラインは、ソフトウェアエンジニアリングのタスクにおいて、しばしば利益が認められている。
利得がエージェント間の型付き契約によるものなのか、あるいは分解が可能な特別なプロンプトによるものなのかは、ほとんど明らかではない。
要求工学における帰属問題について考察する。
- 参考スコア（独自算出の注目度）: 0.4640835690336653
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multi-agent LLM pipelines are often credited with gains in software engineering tasks, but it is rarely clear whether a gain stems from the typed contract between agents or from the specialized prompts that decomposition enables. We study this attribution problem in Requirements Engineering, comparing three architectures for classifying requirements as functional or non-functional and then prioritizing them with MoSCoW: a single-call baseline; a two-call variant that reuses the pipeline's specialized prompts but passes an unvalidated intermediate; and a pipeline with a Pydantic-validated typed state. The 18 conditions cover PROMISE NFR+ (625 requirements), three locally hosted small language models, and two languages. The F1 gain over the baseline is associated with the two-call, specialized-prompt variant (up to +0.075), whereas the typed state adds a small difference (-0.003 to +0.013) that is significant in one of six comparisons. Beyond accuracy, the typed pipeline contains out-of-range model outputs at the agent boundary, while the unvalidated variant fails later and drops the requirement, and it shows a small, reproducible increase in inter-model MoSCoW consistency whose cause our design cannot isolate. The study is associative: the contrasts bundle prompts, call count, and staged context, and the results come from three 7--8B models on one dataset. The implementation and replication package are archived on Zenodo (https://doi.org/10.5281/zenodo.23380444).
- Abstract（参考訳）: マルチエージェントLPMパイプラインは、ソフトウェアエンジニアリングのタスクにおいて、しばしば利得と評価されるが、利得がエージェント間の型付き契約に由来するのか、あるいは分解を可能にする特別なプロンプトによるものなのかは、ほとんど明らかではない。
要求工学におけるこの属性問題を,要求を機能的あるいは非機能的と分類するための3つのアーキテクチャを比較し,それらをMoSCoWに優先順位付けする。
18の条件はPromise NFR+(625の要件)、ローカルにホストされた3つの小さな言語モデル、2つの言語をカバーしている。
ベースライン上のF1ゲインは、2コールの特殊プロンプト変種(+0.075まで)と関連付けられ、型付き状態は6つの比較のうちの1つで重要な小さな差(-0.003から+0.013まで)を付加する。
精度を超えて、型付きパイプラインはエージェント境界におけるアウト・オブ・レンジのモデル出力を含んでおり、一方、無効な変数は後で失敗し、要求を落としている。
コントラストはバンドルプロンプト、呼び出し数、ステージ化されたコンテキストを指定し、結果は1つのデータセット上の3つの7--8Bモデルから得られる。
実装と複製パッケージはZenodo (https://doi.org/10.5281/zenodo.23380444)にアーカイブされている。
関連論文リスト
- SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。
既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。
明示的なWhat-whereインターフェースであるSeGDePを提示する。
論文 参考訳（メタデータ） (2026-09-08T15:11:32Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Text2DSL: LLM-Based Code Generation for Domain-Specific Languages [78.29352305480285]
本稿では、自然言語記述からDSLコードを自動的に生成するタスクであるText2を定式化する。
我々は,PolkitBenchデータセットを導入し,4,204個の自然言語対を検証した。
論文 参考訳（メタデータ） (2026-06-21T16:44:20Z) - Beyond Objective Equivalence: Constraint Injection for LLM-Based Optimization Modeling on Vehicle Routing Problems [3.024294453714127]
本研究では,無声性制約の排除を明らかにするために,急激な過剰制約と一拘束性違反プローブを露呈する制約注入法を提案する。
自然言語のVRPシナリオをGurobiスクリプトに変換する8BのエンドツーエンドモデルであるVRPCoderを開発した。
VRPCoder-GRPOは93%の平均パス@1、Geminiは3つのベンチマークで3.1-Proプレビューを上回り、Claude-Sonnet-4.5を28ポイント上回り、LLMを78ポイント上回る。
論文 参考訳（メタデータ） (2026-06-03T12:39:04Z) - SkillDAG: Self-Evolving Typed Skill Graphs for LLM Skill Selection at Scale [54.70985426016736]
本稿では,スキル間関係を型付き有向グラフとしてモデル化したSkillDAGを提案する。
各検索はベクトルマッチング、型付きエッジ隣人、競合信号を返す。
ALFWorldとSkillsBench with MiniMax-M2.7では、SkillDAGは67.1%の成功と27.3%の報酬を得た。
論文 参考訳（メタデータ） (2026-06-02T02:45:21Z) - Three Roles, One Model: Role Orchestration at Inference Time to Close the Performance Gap Between Small and Large Agents [0.4666493857924357]
複雑なマルチステップ環境において,推論時足場のみに追加のトレーニング計算を使わずに,小さなモデルの性能を向上させることができるかどうかを検討した。
我々は,AppWorldベンチマークのQwen3-8Bを,完全精度と4ビット量子化構成の両方で評価した。
本格的な推測では、私たちの足場付き8Bモデルは、オリジナルのAppWorld評価からDeepSeek-Coder 33Bインストラクション(7.1%)を上回っています。
論文 参考訳（メタデータ） (2026-04-13T13:40:33Z) - Experts are all you need: A Composable Framework for Large Language Model Inference [8.747592414164687]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて最先端の精度を達成した。
MoEは、パラメータや"専門家"のサブセットのみを活性化することによって、モデルキャパシティを計算から切り離すことで、このボトルネックを克服する。
論文 参考訳（メタデータ） (2025-11-28T08:00:16Z) - Language Models to Support Multi-Label Classification of Industrial Data [4.759965976769317]
要求追跡をサポートするために設計された分類に従って、要求を分類することに注力する。
私たちの基本的な真実は、377の要件と6つの出力空間の1968のラベルを含む。
マルチラベル要求分類にZSLを用いることで、有望な結果が得られると結論付けている。
論文 参考訳（メタデータ） (2025-04-22T14:06:02Z) - SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。
提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。
我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
論文 参考訳（メタデータ） (2025-03-11T17:53:02Z) - Reference Twice: A Simple and Unified Baseline for Few-Shot Instance Segmentation [103.90033029330527]
FSIS(Few-Shot Instance)は、サポート例が限定された新しいクラスの検出とセグメンテーションを必要とする。
我々は、FSISのサポートとクエリ機能の関係を利用するための統合フレームワーク、Reference Twice(RefT)を導入する。
論文 参考訳（メタデータ） (2023-01-03T15:33:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。