Fugu-MT 論文翻訳(概要): Scaling Qualitative Analysis with Large Language Models: Development and Validation of the Smart Coder Framework for Human-LLM Collaborative Coding

論文の概要: Scaling Qualitative Analysis with Large Language Models: Development and Validation of the Smart Coder Framework for Human-LLM Collaborative Coding

arxiv url: http://arxiv.org/abs/2610.33205v1
Date: Fri, 23 Oct 2026 18:52:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:13.272034
Title: Scaling Qualitative Analysis with Large Language Models: Development and Validation of the Smart Coder Framework for Human-LLM Collaborative Coding
Title（参考訳）: 大規模言語モデルによる質的分析のスケーリング:人間-LLM協調符号化のためのスマートコーダフレームワークの開発と検証
Abstract要約: Smart Coder Frameworkは、人間とLLMの協調コーディングを構造化する3段階のアプローチである。指示なしのプロンプトと指示なしのプロンプト、ほとんどショットなしのプロンプト、連鎖的プロンプト、シングルパス、自己整合性コーディングを比較した。チェーン・オブ・思想は適切な指導の下で合意をさらに改善し、自己整合性はより小さくテーマに依存した利益を生み出したが、人間のレビューに対する不安定な決定の特定に役立った。
参考スコア（独自算出の注目度）: 4.854696492990964
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Current uses of large language models (LLMs) for qualitative coding often rely on ad hoc prompting with limited guidance for reliability and human oversight. To address these limitations, we propose the Smart Coder Framework, a three-phase approach structuring human-LLM collaborative coding through Instruction, Prompt Strategy, and Reliability Check. We evaluated the framework using 72 middle-school mathematics teacher interview transcripts and a human-consensus benchmark. A factorial design compared instructed versus uninstructed prompts, few-shot versus few-shot plus chain-of-thought prompting, and single-pass versus self-consistency coding. Twelve transcripts were used for prompt development and calibration, and 60 for the formal evaluation. In the results, instruction consistently improved agreement. Chain-of-thought further improved agreement under adequate instruction, and self-consistency produced smaller, theme-dependent gains but helped identify unstable decisions for human review. Performance also varied by transcript characteristics. Overall, the framework systematically structures and monitors LLM-assisted qualitative coding while preserving human authority over coding decisions.
Abstract（参考訳）: 定性的な符号化のための大規模言語モデル(LLM)の現在の使用は、信頼性と人間の監視に関する限られたガイダンスを伴ってアドホックに依存していることが多い。これらの制限に対処するため、我々はSmart Coder Frameworkを提案する。これは、インストラクション、プロンプト戦略、信頼性チェックを通じて、人間とLLMの協調コーディングを構築する3段階のアプローチである。 72人の中学生数学教師の面接書と人間合意ベンチマークを用いて,本フレームワークの評価を行った。指示なしのプロンプトと指示なしのプロンプト、ほとんどショットなしのプロンプト、連鎖的プロンプト、シングルパス、自己整合性コーディングを比較した。迅速な開発・校正には12文字、正式な評価には60文字が用いられた。その結果、命令は一貫して合意を改善した。チェーン・オブ・思想は適切な指導の下で合意をさらに改善し、自己整合性はより小さくテーマに依存した利益を生み出したが、人間のレビューに対する不安定な決定の特定に役立った。性能も書き起こしの特徴によって異なっていた。全体として、このフレームワークはLLM支援の定性的なコーディングを体系的に構成し、監視し、コーディング決定に対する人間の権威を保っている。

関連論文リスト

Pseudo2CodeQA: A Benchmark for LLM-Based Structured Algorithmic Reasoning in Code Generation [0.5993567221208439]
大規模言語モデル(LLM)は、自然言語からコードへの生成において、優れたパフォーマンスを実現している。 Pseudo2Codeは、構造化擬似コードがコード生成品質とアルゴリズムの忠実性に与える影響を評価するために設計されたベンチマークである。
論文参考訳（メタデータ） (2026-08-10T03:17:08Z)
Self-Improving Code Generation via Semantic Entropy and Behavioral Consensus [24.61607166744383]
ConSelfは2つの重要なアイデアに基づいて構築された自己改善のアプローチである。まず,問題レベルの不確実性を測定する新しい指標であるコードセマンティックエントロピーを導入する。第2に、コンセンサス駆動直接選好最適化(Con-DPO)を提案する。
論文参考訳（メタデータ） (2026-03-31T05:55:17Z)
CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
論文参考訳（メタデータ） (2025-12-22T14:27:17Z)
Human-Aligned Code Readability Assessment with Large Language Models [15.17270025276759]
本稿では,大規模言語モデル(LLM)に基づくコード可読性評価のための,最初の大規模ベンチマークであるCoReEvalを紹介する。 LLMはスケーラブルな代替手段を提供するが、可読性評価器としてのそれらの振る舞いは未検討のままである。以上の結果から,人間定義の可読性次元に基礎を置く開発者誘導型プロンプトは,構造化コンテキストにおけるアライメントを改善することが示唆された。
論文参考訳（メタデータ） (2025-10-18T17:00:52Z)
Training Language Models to Generate Quality Code with Program Analysis Feedback [66.0854002147103]
大規模言語モデル(LLM)によるコード生成は、ますます本番環境で採用されているが、コード品質の保証には失敗している。実運用品質のコードを生成するためにLLMにインセンティブを与える強化学習フレームワークであるREALを提案する。
論文参考訳（メタデータ） (2025-05-28T17:57:47Z)
CodEv: An Automated Grading Framework Leveraging Large Language Models for Consistent and Constructive Feedback [0.0]
本研究では,Large Language Models (LLMs)を活用して,一貫した構築的フィードバックを提供する自動階調フレームワークCodEvを提案する。また,LCMアンサンブルを統合してスコアの精度と一貫性を向上させるとともに,信頼性の高いフィードバックとコードレビューコメントを提供する合意テストを実施している。
論文参考訳（メタデータ） (2025-01-10T03:09:46Z)
Can Large Language Models Serve as Evaluators for Code Summarization? [47.21347974031545]
LLM(Large Language Models)は、コード要約手法の効果的な評価手法である。 LLMはエージェントに、コードレビュアー、コード作者、コードエディタ、システムアナリストなどの様々な役割を演じるよう促す。 CoDERPEは、人間の評価と81.59%のスピアマン相関を達成し、既存のBERTScoreの基準を17.27%上回った。
論文参考訳（メタデータ） (2024-12-02T09:56:18Z)
INDICT: Code Generation with Internal Dialogues of Critiques for Both Security and Helpfulness [110.6921470281479]
INDICTは、安全性と有用性の両方のガイダンスのために、批評家の内的対話で大きな言語モデルを強化する新しいフレームワークである。内部対話は、安全主導の批評家と役に立つ主導の批評家の二重協調システムである。提案手法は,安全性と有用性解析の両面において,高度な批判のレベルを提供し,出力コードの品質を著しく向上させる。
論文参考訳（メタデータ） (2024-06-23T15:55:07Z)
PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models [72.57329554067195]
ProxyQAは、長文生成を評価するための革新的なフレームワークである。さまざまなドメインにまたがる詳細なヒューマンキュレートされたメタクエストで構成されており、それぞれに事前にアノテートされた回答を持つ特定のプロキシクエストが伴っている。プロキシクエリに対処する際の評価器の精度を通じて、生成されたコンテンツの品質を評価する。
論文参考訳（メタデータ） (2024-01-26T18:12:25Z)
ICE-Score: Instructing Large Language Models to Evaluate Code [7.556444391696562]
コードアセスメントのための大規模言語モデルに基づく新しい評価指標であるtextttICE-Score を提案する。提案手法は,機能的正しさと人的嗜好との相関性に優れ,既存のアプローチの限界に対処する。以上の結果から,コード生成の最先端の指標を超越した結果が得られた。
論文参考訳（メタデータ） (2023-04-27T16:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。