論文の概要: From Diagnosis to Redesign: Using Quantitative Ethnography to Improve Multi-Agent LLM Reasoning
- arxiv url: http://arxiv.org/abs/2608.22566v1
- Date: Sun, 23 Aug 2026 19:27:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.792092
- Title: From Diagnosis to Redesign: Using Quantitative Ethnography to Improve Multi-Agent LLM Reasoning
- Title（参考訳）: 診断から再設計へ:定量的エスノグラフィーによるマルチエージェントLDM推論の改善
- Abstract要約: マルチエージェント大規模言語モデル (LLM) システムは、特殊機能を持つ複数のエージェント間でタスクを分解することで推論を改善するように設計されている。
本稿では,エージェント間相互作用による会話に基づくマルチエージェントLPMシステムの診断と再設計のための定量的エスノグラフィー(QE)手法を提案する。
- 参考スコア（独自算出の注目度）: 2.3265759805858868
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent large language model (LLM) systems are designed to improve reasoning by decomposing tasks across multiple agents with specialized functions, but the presence of multiple agents does not inherently guarantee coherent reasoning or outputs that align with task objectives. This paper introduces a quantitative ethnographic (QE) approach for diagnosing and redesigning multi-agent LLM systems based on the discourse produced through agent interactions. We test this approach using automated essay scoring as an example context, applying Epistemic Network Analysis (ENA) to model a five-agent multi-agent debate system and examine differences between debates that produced correct versus incorrect scoring decisions. Results show that, in the initial system, correct scoring decisions were characterized by rubric-grounded justification, agreement, and elaboration. Incorrect scoring decisions, in contrast, were characterized by extended proposition-challenge-response exchanges that were less consistently tied to rubric criteria. We then used the findings to revise the agents' prompts. The revised system improved exact scoring accuracy from 27.78% to 40.28% and shifted the discourse of incorrect debates toward the rubric-grounded pattern of correct ones, making the two nearly indistinguishable. Based on these results, we argue that QE can support a diagnostic-to-redesign loop for AI reasoning by tracing how patterns of agent interaction relate to system performance, informing prompt redesign, and evaluating whether those redesigns change both outcomes and interaction patterns.
- Abstract（参考訳）: マルチエージェント大規模言語モデル (LLM) システムは、特殊機能を持つ複数のエージェント間でタスクを分解することで推論を改善するように設計されているが、複数のエージェントの存在は、タスクの目的に沿った一貫性のある推論や出力を本質的に保証しない。
本稿では,エージェント間相互作用による会話に基づくマルチエージェントLPMシステムの診断と再設計のための定量的エスノグラフィー(QE)手法を提案する。
提案手法は,エッセイ自動スコアリングを例として用い,5エージェントのマルチエージェント討論システムをモデル化するために,疫学ネットワーク分析(ENA)を適用し,正解と誤判定を導出した議論の相違について検討する。
その結果, 初期システムでは, 正当性判定は, 根拠的正当性, 合意性, 評価が特徴であった。
対照的に、不正なスコアの決定は、不規則な基準に縛られていない拡張された命題-カオス-レスポンスの交換によって特徴づけられた。
調査の結果をエージェントのプロンプトの修正に利用しました。
改訂されたシステムは正確なスコアの精度を27.78%から40.28%に改善し、不正な議論の談話を正解パターンへとシフトさせた。
これらの結果に基づいて,エージェントインタラクションのパターンがシステムパフォーマンスとどのように関係しているかをトレースし,即時再設計を通知し,再設計が結果と相互作用パターンの両方を変えるかどうかを評価することによって,AI推論のための診断と設計のループをQEがサポートすることを議論する。
関連論文リスト
- A Multi-Agent Audit Framework for High-Stakes Reasoning: Evaluation and Interpretability in Clinical Mental Health Screening [0.8758828205574085]
協調的な多段階検証プロセスをシミュレートするマルチエージェント監査フレームワークを提案する。
臨床精神保健検診の感度領域において,このアーキテクチャを実証的に検証した。
本フレームワークは, 推論過程を知覚エージェント, 知識検索生成(RAG), CoT (Chain-of-Thought) 臨床推論, 重要な監査段階に分解する。
論文 参考訳（メタデータ） (2026-06-19T05:51:03Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - ORCH: many analyses, one merge-a deterministic multi-agent orchestrator for discrete-choice reasoning with EMA-guided routing [0.6445605125467574]
ORCHは異種言語モデルを編成する離散選択推論のためのフレームワークである。
タスクの分解と回答の集約に固定されたルールを使用し、パイプラインを予測可能、再現可能、トレーニング不要にする。
MMLU、MMLU-Pro、GSM8Kの実験では、ORCHは単一モデルベースラインと多数投票アンサンブルを一貫して上回っている。
論文 参考訳（メタデータ） (2026-02-02T08:27:58Z) - Where Did It All Go Wrong? A Hierarchical Look into Multi-Agent Error Attribution [0.7226144684379191]
本稿では,階層的文脈表現,客観分析に基づく評価,コンセンサス投票を組み合わせた新しいアルゴリズムECHOを提案する。
実験の結果,ECHOは様々なマルチエージェントインタラクションシナリオにおいて既存手法よりも優れていた。
論文 参考訳（メタデータ） (2025-10-06T15:07:13Z) - AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment [69.06977852423564]
画像品質評価(IQA)は、人間の視覚系に根ざした知覚品質の定量化と解釈の両方を反映している。
AgenticIQAは、IQAを歪み検出、歪み解析、ツール選択、ツール実行の4つのサブタスクに分解する。
本稿では,IQAエージェントに適した大規模命令データセットであるAgenticIQA-200Kと,VLMベースのIQAエージェントの計画,実行,要約機能を評価するための最初のベンチマークであるAgenticIQA-Evalを紹介する。
論文 参考訳（メタデータ） (2025-09-30T09:37:01Z) - GEMMAS: Graph-based Evaluation Metrics for Multi Agent Systems [1.7825757481227436]
本稿では,エージェント間相互作用を有向非巡回グラフとしてモデル化することにより,内部協調プロセスを解析する,グラフに基づく評価フレームワークGEMMASを紹介する。
コラボレーションの質を捉えるために、エージェント間メッセージの意味的変動を測定するIDSと、冗長な推論経路を定量化する不必要パス比の2つのプロセスレベルメトリクスを提案する。
GEMMASを5つのベンチマークで評価し、GSM8K上では精度の差がわずか2.1%しかなく、IDSでは12.8%、UPRでは80%の違いがあり、内部コラボレーションのかなりのばらつきが明らかになった。
論文 参考訳（メタデータ） (2025-07-17T14:59:20Z) - Silence is Not Consensus: Disrupting Agreement Bias in Multi-Agent LLMs via Catfish Agent for Clinical Decision Making [80.94208848596215]
提案する概念は「Catfish Agent」である。これは、構造的不満を注入し、無声な合意に反するように設計された役割特化LDMである。
組織心理学において「ナマズ・エフェクト」にインスパイアされたカマズ・エージェントは、より深い推論を促進するために、新たなコンセンサスに挑戦するように設計されている。
論文 参考訳（メタデータ） (2025-05-27T17:59:50Z) - MAMM-Refine: A Recipe for Improving Faithfulness in Generation with Multi-Agent Collaboration [63.31211701741323]
我々はマルチエージェント・マルチモデル推論を生成にまで拡張し、特に改良による忠実度の向上を図っている。
我々は,各サブタスクに対して固有の評価を設計し,マルチエージェント(複数インスタンス)とマルチモデル(多変数LPMタイプ)の両方がエラー検出やクオリティクスに有効であることを示す。
我々はこれらの知見を、マルチエージェント・マルチモデル・リファインメント(MAMM-Refinement)と呼ばれる最終的な"レシピ"に統合し、マルチエージェント・マルチモデルコラボレーションがパフォーマンスを大幅に向上させる。
論文 参考訳（メタデータ） (2025-03-19T14:46:53Z) - ReAgent: Reversible Multi-Agent Reasoning for Knowledge-Enhanced Multi-Hop QA [29.578079759428014]
ReAgentは、明示的なバックトラッキング機構を備えた可逆的なマルチエージェント協調フレームワークである。
提案システムでは,誤り検出と修正が可能で,より堅牢で解釈可能なQA結果が得られる。
論文 参考訳（メタデータ） (2025-03-10T05:56:46Z) - When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。
タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文 参考訳（メタデータ） (2025-02-21T02:24:43Z) - Derailer-Rerailer: Adaptive Verification for Efficient and Reliable Language Model Reasoning [11.765298236504155]
Derailer-Rerailerは推論精度と計算効率のバランスをとる新しいフレームワークである。
提案手法は,従来の検証手法に比べて2～3倍の効率を維持しつつ,大幅な精度向上(8～11%)を実現している。
論文 参考訳（メタデータ） (2024-08-25T21:20:17Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳（メタデータ） (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。