論文の概要: How AI Coders Discuss, Disagree, and Reach Consensus: Challenges and Opportunities for LLM-Based Qualitative Coding

• arxiv url: http://arxiv.org/abs/2609.11109v1
• Date: Thu, 10 Sep 2026 05:34:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.215991
• Title: How AI Coders Discuss, Disagree, and Reach Consensus: Challenges and Opportunities for LLM-Based Qualitative Coding
• Title（参考訳）: AIプログラマがLLMベースの質的コーディングの課題と機会を語る
• Abstract要約: 我々は、AIエージェントが独立してコードを作成し、議論し、意見の相違を和らげる文学インフォームドベースラインパイプラインを開発する。 その結果、符号化精度は、コードブックの長さ、定性的データ類似性、エージェントの不一致などの要因に依存することが明らかとなった。 弊社のオープンソースのAIディスカッションデータセットと方法論フレームワークは、AIを介する自動テーマ分析の設計を推進するための基礎を築いた。
• 参考スコア（独自算出の注目度）: 5.271725890500162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The utility of AI in multi-coder qualitative coding has been widely discussed, yet little empirical evidence exists to delineate the contexts in which it performs reliably. We address this gap by quantifying the effectiveness of multi-agent LLM coding across varied qualitative datasets, revealing key contextual and structural factors that mediate coding outcomes. We developed a literature-informed baseline pipeline that enables AI agents to independently code, debate, and reconcile disagreements. Results revealed that coding accuracy depends on factors such as codebook length, qualitative data similarity, and agent disagreement. Notably, intense and unresolved debates between agents led to higher accuracy. Our analysis showed that while LLMs emulate many human discussion behaviors, they lack adaptive responsiveness to context. From these findings, we offer design recommendations for building automated coding systems. Our open-source AI discussion dataset and methodological framework lay the groundwork for advancing the design of AI-mediated automated thematic analysis.
• Abstract（参考訳）: マルチコーダの定性的符号化におけるAIの有用性は広く議論されているが、それが確実に機能する状況を説明するための実証的な証拠はほとんどない。 このギャップに対処するために、様々な質的データセットにまたがるマルチエージェントLLM符号化の有効性を定量化し、符号化結果を仲介する重要な文脈的・構造的要因を明らかにする。 我々は、AIエージェントが独立してコードを作成し、議論し、意見の相違を和らげる文学インフォームドベースラインパイプラインを開発した。 その結果、符号化精度は、コードブックの長さ、定性的データ類似性、エージェントの不一致などの要因に依存することが明らかとなった。 特に、エージェント間の激しい、未解決の議論が、より高い精度に繋がった。 分析の結果、LLMは人間の議論行動の多くをエミュレートするが、文脈に適応的な応答性が欠如していることが判明した。 これらの結果から,自動コーディングシステム構築のための設計勧告を提供する。 弊社のオープンソースのAIディスカッションデータセットと方法論フレームワークは、AIを介する自動テーマ分析の設計を推進するための基礎を築いた。

関連論文リスト

• ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation [54.788849448970154]
  我々はClarifyCodeBenchを紹介した。ClarifyCodeBenchは、要求のあいまいさを解決するためのLarge Language Modelsの機能を評価するための、インタラクティブなベンチマークだ。 ClarifyCodeBenchを用いて、6つの最先端LCMの体系的評価を行う。 1) 能力の疎結合: 強いコード生成性能は本質的には効果的な要求の明確化に変換されない; 2) 推論パラドックス: 計算思考の増大はコードの正確性を高めるが、あいまいさの識別において限界的な利益をもたらす。
  論文  参考訳（メタデータ） (2026-07-01T09:58:59Z)
• Factors Influencing the Quality of AI-Generated Code: A Synthesis of Empirical Evidence [1.4465033892011254]
  AI支援コード生成ツールの急速な採用は、ソフトウェア開発プラクティスの変革である。 AI生成コードの品質、信頼性、セキュリティに関する懸念は、アカデミックと業界の両方でますます報告されている。
  論文  参考訳（メタデータ） (2026-03-26T08:06:42Z)
• Disagreement as Data: Reasoning Trace Analytics in Multi-Agent Systems [0.0]
  本稿では,大規模言語モデル(LLM)エージェントが生成する推論トレースが,プロセスデータの新しいリッチな形式を構成することを提案する。 我々は、推論トレースにコサイン類似性を適用し、エージェント間の不一致を系統的に検出、定量化し、解釈する。
  論文  参考訳（メタデータ） (2026-01-18T23:19:49Z)
• A Survey of Vibe Coding with Large Language Models [93.88284590533242]
  視覚符号化(Vibe Coding)は、開発者が成果観察を通じてAI生成の実装を検証する開発手法である。 変革の可能性にもかかわらず、この創発的パラダイムの有効性は未解明のままである。 この調査は、大規模な言語モデルによるVibe Codingの総合的かつ体系的なレビューを初めて提供する。
  論文  参考訳（メタデータ） (2025-10-14T11:26:56Z)
• CoDA: Agentic Systems for Collaborative Data Visualization [57.270599188947294]
  深層研究はデータ分析に革命をもたらしたが、データサイエンティストは依然として手作業による視覚化にかなりの時間を費やしている。 単純なシングルエージェントシステムやマルチエージェントシステムを含む既存のアプローチは、しばしばタスクを単純化する。 本稿では,メタデータ分析,タスク計画,コード生成,自己回帰に特殊なLLMエージェントを利用するマルチエージェントシステムであるCoDAを紹介する。
  論文  参考訳（メタデータ） (2025-10-03T17:30:16Z)
• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes [0.0]
  そこでは,人間の専門家が作成したSEアーティファクトをベンチマークとして用いた経験的探索の結果を報告する。 次に、AI生成されたアーティファクトとベンチマークを比較するために、2倍の混合メソッドアプローチを採用しました。 2つの素材は非常に似ているように見えるが、AIが生成したアーティファクトは深刻な障害モードを示しており、検出は困難である。
  論文  参考訳（メタデータ） (2025-02-13T17:05:18Z)
• Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights [0.0]
  本稿では,SBCスコアと呼ばれる新しいスコアリング機構を提案する。 これは、大規模言語モデルの自然言語生成能力を活用するリバースジェネレーション技術に基づいている。 直接コード解析とは異なり、我々のアプローチはAI生成コードからシステム要求を再構築し、元の仕様と比較する。
  論文  参考訳（メタデータ） (2025-02-11T01:12:11Z)
• Can We Trust AI Agents? A Case Study of an LLM-Based Multi-Agent System for Ethical AI [10.084913433923566]
  AIベースのシステムは、多様なタスクをサポートすることによって数百万に影響を及ぼすが、誤情報、偏見、誤用といった問題に直面している。 本研究では,Large Language Models (LLM) を用いたAI倫理の実践について検討する。 エージェントがAIインシデントデータベースから現実のAI倫理問題に関する構造化された議論を行うプロトタイプを設計する。
  論文  参考訳（メタデータ） (2024-10-25T20:17:59Z)
• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。