論文の概要: Reflections on Inductive Thematic Saturation as a potential metric for
measuring the validity of an inductive Thematic Analysis with LLMs
- arxiv url: http://arxiv.org/abs/2401.03239v1
- Date: Sat, 6 Jan 2024 15:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:34:58.386408
- Title: Reflections on Inductive Thematic Saturation as a potential metric for
measuring the validity of an inductive Thematic Analysis with LLMs
- Title(参考訳): LLMを用いた帰納的テーマ解析の有効性測定のための潜在指標としての帰納的テーマ飽和に関する考察
- Authors: Stefano De Paoli and Walter Stan Mathis
- Abstract要約: 本論文は,大言語モデル (LLM) を用いた主題分析 (TA) のトランザクション妥当性を評価する指標として,初期主題飽和 (ITS) が用いられることを示唆している。
本稿では,異なるサイズの2つのデータセットを初期符号化し,LLMが符号化中に何らかの解析飽和点に達する方法について考察する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper presents a set of reflections on saturation and the use of Large
Language Models (LLMs) for performing Thematic Analysis (TA). The paper
suggests that initial thematic saturation (ITS) could be used as a metric to
assess part of the transactional validity of TA with LLM, focusing on the
initial coding. The paper presents the initial coding of two datasets of
different sizes, and it reflects on how the LLM reaches some form of analytical
saturation during the coding. The procedure proposed in this work leads to the
creation of two codebooks, one comprising the total cumulative initial codes
and the other the total unique codes. The paper proposes a metric to
synthetically measure ITS using a simple mathematical calculation employing the
ratio between slopes of cumulative codes and unique codes. The paper
contributes to the initial body of work exploring how to perform qualitative
analysis with LLMs.
- Abstract(参考訳): 本稿では,飽和度に関する一連の考察と,大規模言語モデル (llm) を用いた主題分析 (ta) について述べる。
本論文は, 初期主題飽和度(ITS)を, LLMによるTAのトランザクション妥当性の一部を評価する指標として用いることができることを示唆している。
本稿では,異なるサイズの2つのデータセットを初期符号化し,LLMが符号化中に何らかの解析飽和点に達する方法について考察する。
この本で提案されている手続きは、2つのコードブックの作成につながり、1つは累積初期コード、もう1つは総ユニークコードからなる。
本稿では,累積符号の傾きと一意符号の比を用いた単純な数学的計算を用いて,ITSを合成的に測定する指標を提案する。
本論文は, LLMを用いた定性解析の実施方法を探る初期の研究に貢献する。
関連論文リスト
- A Thorough Examination of Decoding Methods in the Era of LLMs [76.30313058201182]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。
本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。
その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文 参考訳(メタデータ) (2024-02-10T11:14:53Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis [18.775126929754833]
Thematic Analysis (TA)は、多くの分野や分野における定性的データを解析するために広く使われている。
ヒューマンコーダはデータの解釈とコーディングを複数のイテレーションで開発し、より深くする。
In-context Learning (ICL) を用いたTAを実現するための人間-LLM協調フレームワーク(LLM-in-the-loop)を提案する。
論文 参考訳(メタデータ) (2023-10-23T17:05:59Z) - Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。
本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
論文 参考訳(メタデータ) (2023-10-18T22:02:43Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳(メタデータ) (2023-08-26T06:12:33Z) - Benchmarking Causal Study to Interpret Large Language Models for Source
Code [6.301373791541809]
本稿では,3つのSEタスクをキュレートしたテストベッドからなるGalerasというベンチマーク戦略を紹介する。
本稿では,ChatGPTの性能に関するケーススタディを,個別の迅速なエンジニアリング手法で実施することで,ベンチマーク戦略の知見を述べる。
論文 参考訳(メタデータ) (2023-08-23T20:32:12Z) - Exploiting Code Symmetries for Learning Program Semantics [22.056730276249326]
コード対称性をセマンティクス保存変換として定義するグループ理論フレームワークを導入する。
プログラム依存グラフ上に定義された置換群から符号対称性に即時同値な自己意図の新たな変種を開発する。
この結果から,コード対称性群を経由したコード構造を符号化するコードLLMが,より高速に一般化されることが示唆された。
論文 参考訳(メタデータ) (2023-08-07T05:40:58Z) - Towards Codable Watermarking for Injecting Multi-bit Information to LLM [90.13097900576113]
大規模言語モデル(LLM)は、流布とリアリズムを増大させるテキストを生成する。
LLMの悪用を防ぐために、テキストのソースを特定する必要性が高まっている。
テキスト透かし技術は、LLMによってテキストが生成されるかどうかを識別する上で信頼性があることが証明されている。
論文 参考訳(メタデータ) (2023-07-29T14:11:15Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳(メタデータ) (2023-05-28T06:30:29Z) - Inference with Reference: Lossless Acceleration of Large Language Models [97.04200102556551]
LLMAは、参照によるLarge Language Model (LLM)推論を高速化するアクセラレータである。
LLMによる復号結果と実世界の多くのシナリオで利用できる参照との間には、多くの同一のテキストが存在していることが観察の動機となっている。
論文 参考訳(メタデータ) (2023-04-10T09:55:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。