論文の概要: Scalable and consistent few-shot classification of survey responses using text embeddings

• arxiv url: http://arxiv.org/abs/2508.19836v1
• Date: Wed, 27 Aug 2025 12:45:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.628108
• Title: Scalable and consistent few-shot classification of survey responses using text embeddings
• Title（参考訳）: テキスト埋め込みを用いたサーベイ応答のスケーラブルで一貫した数ショット分類
• Authors: Jonas Timmann Mjaaland, Markus Fleten Kreutzer, Halvor Tyseng, Rebeckah K. Fussell, Gina Passante, N. G. Holmes, Anders Malthe-Sørenssen, Tor Ole B. Odden,
• Abstract要約: テキスト埋め込みに基づく分類フレームワークを導入する。 2899個のオープンエンド応答からなる概念物理学サーベイの人間解析に対してベンチマークを行ったところ、我々のフレームワークは0.74から0.83の範囲でコーエンのカッパを達成できた。 これらの結果から,テキスト埋め込み支援符号化は,解釈性を犠牲にすることなく,数千の応答に柔軟にスケールできることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Qualitative analysis of open-ended survey responses is a commonly-used research method in the social sciences, but traditional coding approaches are often time-consuming and prone to inconsistency. Existing solutions from Natural Language Processing such as supervised classifiers, topic modeling techniques, and generative large language models have limited applicability in qualitative analysis, since they demand extensive labeled data, disrupt established qualitative workflows, and/or yield variable results. In this paper, we introduce a text embedding-based classification framework that requires only a handful of examples per category and fits well with standard qualitative workflows. When benchmarked against human analysis of a conceptual physics survey consisting of 2899 open-ended responses, our framework achieves a Cohen's Kappa ranging from 0.74 to 0.83 as compared to expert human coders in an exhaustive coding scheme. We further show how performance of this framework improves with fine-tuning of the text embedding model, and how the method can be used to audit previously-analyzed datasets. These findings demonstrate that text embedding-assisted coding can flexibly scale to thousands of responses without sacrificing interpretability, opening avenues for deductive qualitative analysis at scale.
• Abstract（参考訳）: オープンエンドサーベイ応答の質的分析は社会科学において一般的に用いられている研究手法であるが、従来のコーディング手法は時間を要することが多く、矛盾する傾向にある。 教師付き分類器、トピックモデリング技術、生成的大言語モデルといった自然言語処理の既存のソリューションは、広範囲なラベル付きデータを必要とするため、定性的な分析に限定的な適用性を持つ。 本稿では,テキスト埋め込みに基づく分類フレームワークを提案する。 提案手法は,2899個のオープンエンド応答からなる概念物理サーベイの人間解析に対してベンチマークを行ったところ,この手法は,有能な人間のコーダに比べて0.74～0.83の範囲のコーエンカッパを達成できた。 さらに、テキスト埋め込みモデルの微調整により、このフレームワークの性能が向上し、事前に分析されたデータセットの監査にどのように使用できるかを示す。 これらの結果から, テキスト埋め込み支援符号化は, 解釈性を犠牲にすることなく, 数千の応答に柔軟にスケールできることが示唆された。

関連論文リスト

• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• Explaining the Unexplained: Revealing Hidden Correlations for Better Interpretability [1.8274323268621635]
  Real Explainer(RealExp)は、Shapley値を個々の特徴と特徴相関の重要度に分解する、解釈可能性の手法である。 RealExpは、個々の特徴とそれらの相互作用を正確に定量化することで、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-12-02T10:50:50Z)
• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
  最小限の例を用いてコントラストフレームを検出する新しい手法である「ペア完備化」を導入する。 我々は、ペア化完了は、プロンプトベースおよび埋め込みベースの手法に代えて、コスト効率が高く、低バイアスであることを示した。
  論文  参考訳（メタデータ） (2024-08-19T07:14:15Z)
• Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
  最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。 本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。 本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
  論文  参考訳（メタデータ） (2024-05-09T12:03:38Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Document Provenance and Authentication through Authorship Classification [5.2545206693029884]
  本稿では,単一文書と複数文書の分類のためのアンサンブルベースのテキスト処理フレームワークを提案する。 提案するフレームワークには,最先端のテキスト分類アルゴリズムがいくつか組み込まれている。 フレームワークは大規模なベンチマークデータセットで評価される。
  論文  参考訳（メタデータ） (2023-03-02T12:26:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。