論文の概要: Expanding Horizons in HCI Research Through LLM-Driven Qualitative
Analysis
- arxiv url: http://arxiv.org/abs/2401.04138v1
- Date: Sun, 7 Jan 2024 12:39:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-10 18:45:08.175421
- Title: Expanding Horizons in HCI Research Through LLM-Driven Qualitative
Analysis
- Title(参考訳): llmによる定性解析によるhci研究の地平線拡大
- Authors: Maya Grace Torii, Takahito Murakami, Yoichi Ochiai
- Abstract要約: 大規模言語モデル(LLM)を用いたHCIにおける定性解析の新しいアプローチを提案する。
以上の結果から,LSMは従来の解析手法と一致しただけでなく,ユニークな知見も得られることが示唆された。
- 参考スコア(独自算出の注目度): 3.5253513747455303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: How would research be like if we still needed to "send" papers typed with a
typewriter? Our life and research environment have continually evolved, often
accompanied by controversial opinions about new methodologies. In this paper,
we embrace this change by introducing a new approach to qualitative analysis in
HCI using Large Language Models (LLMs). We detail a method that uses LLMs for
qualitative data analysis and present a quantitative framework using SBART
cosine similarity for performance evaluation. Our findings indicate that LLMs
not only match the efficacy of traditional analysis methods but also offer
unique insights. Through a novel dataset and benchmark, we explore LLMs'
characteristics in HCI research, suggesting potential avenues for further
exploration and application in the field.
- Abstract(参考訳): タイプライターでタイプされた論文を"送る"必要がある場合、研究はどのようになるでしょうか?
我々の生活と研究環境は進化し続けており、しばしば新しい方法論に関する議論の的となっている。
本稿では,Large Language Models (LLM) を用いたHCIにおける定性解析の新しいアプローチを導入することで,この変化を受け入れる。
定性データ解析にLLMを用いる手法を詳述し、SBARTコサイン類似度を用いた定量的なフレームワークを用いて性能評価を行う。
以上の結果から,LSMは従来の解析手法と一致しただけでなく,ユニークな知見も得られることが示唆された。
新たなデータセットとベンチマークを通じて,HCI研究におけるLLMの特性を探求し,この分野におけるさらなる探索と応用の可能性を提案する。
関連論文リスト
- LLM Inference Unveiled: Survey and Roofline Model Insights [64.33702161898469]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Quantitative knowledge retrieval from large language models [4.155711233354597]
大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。
本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
論文 参考訳(メタデータ) (2024-02-12T16:32:37Z) - A Reliable Knowledge Processing Framework for Combustion Science using
Foundation Models [0.0]
この研究は、多様な燃焼研究データを処理し、実験研究、シミュレーション、文献にまたがるアプローチを導入している。
開発されたアプローチは、データのプライバシと精度を最適化しながら、計算と経済の費用を最小化する。
このフレームワークは、最小限の人間の監視で、常に正確なドメイン固有の応答を提供する。
論文 参考訳(メタデータ) (2023-12-31T17:15:25Z) - T-Eval: Evaluating the Tool Utilization Capability of Large Language
Models Step by Step [69.64348626180623]
大規模言語モデル (LLM) は様々なNLPタスクにおいて顕著な性能を達成した。
LLMのツール活用能力の評価と分析方法はまだ未検討である。
ツール利用能力を段階的に評価するためにT-Evalを導入する。
論文 参考訳(メタデータ) (2023-12-21T17:02:06Z) - BLESS: Benchmarking Large Language Models on Sentence Simplification [55.461555829492866]
我々は、テキスト単純化(TS)タスク上で、最新の最先端の大規模言語モデル(LLM)のパフォーマンスベンチマークであるBLESSを紹介する。
異なるドメイン(Wikipedia、ニュース、医療)の3つのテストセットに対して、サイズ、アーキテクチャ、事前学習方法、アクセシビリティの異なる44のモデルを評価する。
評価の結果,最高のLSMはTSのトレーニングを受けていないにもかかわらず,最先端のTSベースラインと相容れない性能を示した。
論文 参考訳(メタデータ) (2023-10-24T12:18:17Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - On Learning to Summarize with Large Language Models as References [105.62615205746106]
本研究では,大規模言語モデル(LLM)を,データセット上のゴールドスタンダード・オラクルの参照あるいは参照とみなす新たな学習環境について検討する。
CNN/DailyMailおよびXSumデータセットの実験では、より小さな要約モデルがLLMと同等のパフォーマンスを達成できることが示されている。
しかし,人間による評価では,小型モデルではLLMレベルに到達できないことがわかった。
論文 参考訳(メタデータ) (2023-05-23T16:56:04Z) - Can Large Language Models emulate an inductive Thematic Analysis of
semi-structured interviews? An exploration and provocation on the limits of
the approach and the model [0.0]
本稿では, GPT 3.5-Turboモデルを用いて, 帰納的テーマ解析のいくつかの側面をエミュレートした実験結果と考察を行った。
本論文の目的は, 定性解析における人間アナリストの代替ではなく, LLMデータ操作のいくつかの要素がある程度の定性研究を支援することができるかを知ることである。
論文 参考訳(メタデータ) (2023-05-22T13:16:07Z) - Information Extraction in Low-Resource Scenarios: Survey and Perspective [60.67550275379953]
情報抽出は構造化されていないテキストから構造化された情報を導き出そうとする。
本稿では,emphLLMおよびemphLLMに基づく低リソースIEに対するニューラルアプローチについて概説する。
論文 参考訳(メタデータ) (2022-02-16T13:44:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。