論文の概要: Designing an Auditable LLM-Supported Workflow for Qualitative Thematic Analysis
- arxiv url: http://arxiv.org/abs/2608.30543v1
- Date: Mon, 31 Aug 2026 10:11:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.343377
- Title: Designing an Auditable LLM-Supported Workflow for Qualitative Thematic Analysis
- Title(参考訳): 定性理論解析のための聴取可能なLLM対応ワークフローの設計
- Abstract要約: 本稿では,帰納的および潜伏的セマンティック分析の聴覚的かつプライバシーに配慮した計算操作について述べる。
ソースコードへの明示的なリンクを保持しながら、コード、分析的正当化、テーマ、テーマ記述を生成する。
- 参考スコア(独自算出の注目度): 0.6989900669395945
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) offer new possibilities for scaling qualitative analysis, but existing applications often provide limited methodological transparency regarding how qualitative methods are translated into computational procedures. This paper presents an auditable and privacy-preserving computational operationalization of inductive and latent Thematic Analysis (TA). This paper first derives five design principles from the methodological requirements of TA and the conditions introduced by LLM-based inference: preserving interpretative context, maintaining traceable relationships between empirical material and analytical outputs, representing analytical constructs and reasoning explicitly, constraining LLM inference to interpretative tasks, and enabling privacy-preserving local deployment. Second, it presents a proof-of-concept for a two-phase workflow that operationalizes these principles by combining interpretative LLM inference with deterministic procedural control to generate codes, analytical justifications, themes, and theme descriptions while preserving explicit links to the source material. Third, it proposes an evaluation framework combining structural comparison with human-led TA and independent expert assessment of analytical quality. The evaluation is conducted on semi-structured Danish interview transcripts. and the results shows that the workflow produces code-level outputs with coverage broadly comparable to human annotations and highly rated analytical justifications, while generating a more compressed thematic structure characterized by fewer and broader themes. The findings demonstrate the feasibility of auditable LLM-supported TA through a modular workflow designed to scale to larger datasets, accommodate different LLMs, and support transfer across research domains, with domain adaptation primarily requiring adjustments to the prompting strategy.
- Abstract(参考訳): 大規模言語モデル(LLM)は、定性解析をスケールするための新しい可能性を提供するが、既存のアプリケーションは、定性的な方法が計算手順にどのように変換されるかに関して、限られた方法論的透明性を提供することが多い。
本稿では,インダクティブおよび潜時 Thematic Analysis (TA) の聴覚的かつプライバシ保護的な計算操作について述べる。
本稿では、まず、TAの方法論的要件とLLMベースの推論によって導入された条件から、5つの設計原則を導出する:解釈的コンテキストの保存、経験的材料と分析的アウトプットのトレーサブルな関係の維持、分析的構造と推論の明示的表現、解釈的タスクへのLLM推論の制約、プライバシー保護的ローカルデプロイメントの実現。
第2に、解釈的LCM推論と決定論的手続き制御を組み合わせて、ソースコード、分析的正当化、テーマ、テーマ記述を生成し、ソース資料への明示的なリンクを保ちながら、これらの原則を運用する2段階ワークフローの概念実証を示す。
第3に、人間主導型TAと構造比較と分析品質の独立専門家評価を組み合わせた評価枠組みを提案する。
評価は半構造化デンマークの面接書で行う。
その結果、ワークフローは人間のアノテーションに匹敵する範囲のコードレベルのアウトプットと高度に評価された分析的正当化を生成し、より圧縮されたテーマ構造を生成し、より少ないテーマで特徴付けられることがわかった。
この結果は,より大きなデータセットにスケールし,異なるLLMに対応し,研究領域間での転送をサポートするモジュール型ワークフローを通じて,監査可能なLLM支援TAの実現可能性を示し,ドメイン適応は主にプロンプト戦略の調整を必要とする。
関連論文リスト
- From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。
本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。
実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
論文 参考訳(メタデータ) (2026-08-27T10:52:06Z) - Toward Formalizing LLM-Based Agent Designs through Structural Context Modeling and Semantic Dynamics Analysis [13.919694566467053]
この断片化は、LLMエージェントの特性と比較を可能にする分析可能な自己整合形式モデルが存在しないことに起因すると我々は主張する。
このギャップに対処するために、文脈構造の観点からLLMエージェントを解析・比較するための形式モデルであるtexttt Structure Context Model を提案する。
モンキー・バナナ問題の動的変種に対する完全な枠組みの有効性を実証し,本手法を用いて開発したエージェントが成功率を最大32ポイント向上することを示した。
論文 参考訳(メタデータ) (2026-02-09T05:15:11Z) - Doc2AHP: Inferring Structured Multi-Criteria Decision Models via Semantic Trees with LLMs [7.026862437055361]
AHPの原理を導いた新しい構造推論フレームワークDoc2AHPを提案する。
重み付けの数値的整合性を確保するために,多エージェント重み付け機構と適応整合性最適化戦略を導入する。
実験の結果,Doc2AHPは非熟練ユーザに対して,スクラッチから高品質な意思決定モデルを構築する権限を与えるだけでなく,論理的完全性とダウンストリームタスク精度の両方において,直接生成ベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2026-01-23T06:20:23Z) - Data Analysis and Performance Evaluation of Simulation Deduction Based on LLMs [10.405577443485841]
シミュレーション推論のデータ解析と性能評価は、現代の戦争において重要な役割を担っている。
従来の手動分析手法は時間を要するものであり、人間のエラーによって制限される。
本稿では,まず複雑なタスクを複数のサブタスクに分解し,効果的なシステムプロンプトを設計する手法を提案する。
論文 参考訳(メタデータ) (2025-11-01T01:32:33Z) - Implicit Reasoning in Large Language Models: A Comprehensive Survey [67.53966514728383]
大規模言語モデル(LLM)は、幅広いタスクにまたがる強力な一般化を実証している。
最近の研究は、暗黙の推論に拍車をかけた、明示的な思考の連鎖から注意を向けている。
本調査では,表現形式から計算戦略へ焦点を移し,実行パラダイムを中心とした分類を紹介した。
論文 参考訳(メタデータ) (2025-09-02T14:16:02Z) - Teaching LLMs to Think Mathematically: A Critical Study of Decision-Making via Optimization [1.246870021158888]
本稿では,大規模言語モデル(LLM)の数学的プログラミングによる意思決定問題の定式化と解決能力について検討する。
まず、LLMがドメイン間の最適化問題をいかに理解し、構造化し、解決するかを評価するため、最近の文献の体系的レビューとメタ分析を行う。
計算機ネットワークにおける問題に対する最適化モデルの自動生成において、最先端のLLMの性能を評価するために設計されたターゲット実験により、系統的エビデンスを補完する。
論文 参考訳(メタデータ) (2025-08-25T14:52:56Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳(メタデータ) (2025-05-23T09:37:52Z) - Structured Prompting and Feedback-Guided Reasoning with LLMs for Data Interpretation [0.0]
大規模言語モデル(LLM)は、自然言語の理解とタスクの一般化において顕著な能力を示した。
本稿では、構造化されたプロンプトおよびフィードバック駆動型変換ロジック生成手法であるSTROT Frameworkを紹介する。
論文 参考訳(メタデータ) (2025-05-03T00:05:01Z) - FACT-AUDIT: An Adaptive Multi-Agent Framework for Dynamic Fact-Checking Evaluation of Large Language Models [79.41859481668618]
大規模言語モデル(LLM)はファクトチェック研究を大幅に進歩させた。
既存のファクトチェック評価手法は静的データセットと分類基準に依存している。
本稿では, LLMのファクトチェック機能を適応的かつ動的に評価するエージェント駆動型フレームワークであるFACT-AUDITを紹介する。
論文 参考訳(メタデータ) (2025-02-25T07:44:22Z) - To Err Is Human; To Annotate, SILICON? Reducing Measurement Error in LLM Annotation [11.470318058523466]
大規模言語モデル(LLM)は、人間のアノテーションに代わる費用対効果の高いスケーラブルな代替を約束する。
LLMアノテーションから測定誤差を体系的に低減するSILICON手法を開発した。
この証拠は,各エラー源の削減が必要であり,SILICONは管理研究において厳密なアノテーションをサポートしていることを示唆している。
論文 参考訳(メタデータ) (2024-12-19T02:21:41Z) - Designing Algorithms Empowered by Language Models: An Analytical Framework, Case Studies, and Insights [86.06371692309972]
本研究では,大規模言語モデル(LLM)に基づくアルゴリズムの設計と解析のための分析フレームワークを提案する。
提案する枠組みは頭痛を緩和する試みとして機能する。
論文 参考訳(メタデータ) (2024-07-20T07:39:07Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。