論文の概要: QuAD: Quantitative Assessment via Distribution-Alignment for Qualitative Data Quality Enabled by a Content-Aware Multi-Agent System

• arxiv url: http://arxiv.org/abs/2610.23153v1
• Date: Fri, 16 Oct 2026 08:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.835457
• Title: QuAD: Quantitative Assessment via Distribution-Alignment for Qualitative Data Quality Enabled by a Content-Aware Multi-Agent System
• Title（参考訳）: QuAD:コンテンツ対応マルチエージェントシステムによる質的データ品質の分散アライメントによる定量的評価
• Abstract要約: QuADは質的応答データセットの定量的分析前評価のためのフレームワークである。 本稿では,2段階の命令生成とアダプティブアンカーを用いたコンテンツ認識型マルチエージェントシステムを提案する。
• 参考スコア（独自算出の注目度）: 38.27038514576068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Assessing whether qualitative responses collected from semi-structured questions are ready for a particular analysis goal is a persistent challenge. Manual qualitative analysis is interpretive and labor-intensive, while existing automated methods often lack a dataset-level perspective for deciding whether a response set supports a researcher-selected analytical lens. We introduce QuAD, a framework for quantitative pre-analysis assessment of qualitative response datasets. QuAD compares a reconstructed intrinsic cluster distribution reconstructed from responses with an extrinsic, researcher-defined analytical lens derived from metadata. QuAD is structured into a four-quadrant assessment whose metrics are read jointly, from lens-level relations to within-cluster variation, to provide fitness-for-purpose signals for revealing general patterns and unique insights. Because this assessment relies on lens-conditioned inter-response dissimilarity, we propose a content-aware multi-agent system with two-stage instruction generation and adaptive anchors to improve scoring consistency. We validate QuAD through controlled experiments on synthetic data, including robustness and baseline comparisons, and a real-world social survey case study. The case study shows how QuAD quantitatively assesses whether a selected analysis axis is promising and also surfaces representative or unusual responses for human interpretation.
• Abstract（参考訳）: 半構造化された質問から収集された質的な応答が、特定の分析目標を達成する準備ができているかを評価することは、永続的な課題である。 手動定性的分析は解釈的かつ労働集約的であるが、既存の自動化手法では、応答セットが研究者が選択した分析レンズをサポートするかどうかを決定するためのデータセットレベルの視点を欠くことが多い。 質的応答データセットを定量的に分析するフレームワークQuADを紹介する。 QuADは、応答から再構成された再構成された固有のクラスタ分布と、メタデータから派生した外在的、研究者が定義した分析レンズを比較する。 QuADは、レンズレベルの関係からクラスタ内の変動まで、メトリクスを共同で読み取る4つのクアドラントアセスメントに構成され、一般的なパターンとユニークな洞察を明らかにするために、フィットネスのための信号を提供する。 この評価は、レンズ条件の応答間相違に依存するため、2段階の命令生成と適応アンカーを備えたコンテンツ認識型マルチエージェントシステムを提案し、スコアリングの整合性を改善する。 実世界におけるソーシャルサーベイケーススタディにおいて、ロバスト性やベースライン比較を含む合成データの制御実験を通じてQuADを検証する。 ケーススタディでは、QuADが選択した分析軸が有望かどうかを定量的に評価し、人間の解釈に対する代表的反応や異常な反応を表面化する。

関連論文リスト

• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• Empirical Cumulative Distribution Function Clustering for LLM-based Agent System Analysis [3.8908016393731533]
  生成した応答と参照応答のコサイン類似性の経験的累積分布関数(ECDF)に基づく新しい評価フレームワークを提案する。 QAデータセットを用いた実験により、ECDFはエージェント設定を類似の最終的な精度で区別できるが、品質分布は異なることが示された。
  論文  参考訳（メタデータ） (2026-02-18T01:49:35Z)
• AgenticIQA: An Agentic Framework for Adaptive and Interpretable Image Quality Assessment [69.06977852423564]
  画像品質評価(IQA)は、人間の視覚系に根ざした知覚品質の定量化と解釈の両方を反映している。 AgenticIQAは、IQAを歪み検出、歪み解析、ツール選択、ツール実行の4つのサブタスクに分解する。 本稿では,IQAエージェントに適した大規模命令データセットであるAgenticIQA-200Kと,VLMベースのIQAエージェントの計画,実行,要約機能を評価するための最初のベンチマークであるAgenticIQA-Evalを紹介する。
  論文  参考訳（メタデータ） (2025-09-30T09:37:01Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• Human-Calibrated Automated Testing and Validation of Generative Language Models [3.2855317710497633]
  本稿では,ジェネレーティブ言語モデル(GLM)の評価と検証のための包括的枠組みを提案する。 銀行などの高額な領域に展開される検索・拡張世代(RAG)システムに焦点を当てている。
  論文  参考訳（メタデータ） (2024-11-25T13:53:36Z)
• Reinforcement Learning with Heterogeneous Data: Estimation and Inference [84.72174994749305]
  人口の不均一性に関する逐次的決定問題に対処するために,K-ヘテロ・マルコフ決定過程(K-ヘテロ・MDP)を導入する。 本稿では、ある政策の価値を推定するための自己クラスタ化政策評価(ACPE)と、ある政策クラスにおける最適な政策を推定するための自己クラスタ化政策イテレーション(ACPI)を提案する。 理論的な知見を裏付けるシミュレーションを行い,MIMIC-III標準データセットの実証的研究を行った。
  論文  参考訳（メタデータ） (2022-01-31T20:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。