論文の概要: LLM-based Models for Detecting Emerging Topics in Service Feedback
- arxiv url: http://arxiv.org/abs/2606.26595v1
- Date: Thu, 25 Jun 2026 04:46:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.159442
- Title: LLM-based Models for Detecting Emerging Topics in Service Feedback
- Title（参考訳）: サービスフィードバックにおける新興トピック検出のためのLCMモデル
- Authors: Mahsa Tavakoli, Ruth Bankey, Cristián Bravo,
- Abstract要約: 本稿では,大規模言語モデル(LLM),統計技術,人間とAIのコラボレーションを統合し,多言語ユーザのフィードバック分析を改善する手法を提案する。
主な目的は、サービスデリバリの潜在的な不平等を明らかにする可能性のある、新興のサービス品質トピックを検出することである。
- 参考スコア（独自算出の注目度）: 1.5484595752241122
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Enhancing the analysis of service feedback is essential for public sector organizations, particularly tax administrations, where trust and compliance depend on fair and effective service delivery. As feedback volumes grow, identifying emerging service quality issues and potential disparities across diverse populations becomes increasingly challenging. Traditional approaches often rely on manual review or static expert-defined indicators, limiting scalability and the ability to capture complex patterns in textual feedback. This paper presents a novel methodology that integrates large language models (LLMs), statistical techniques, and human-AI collaboration to improve multilingual customer feedback analysis. The primary objective is to detect emerging service quality topics that may also reveal potential inequities in service delivery. Our framework combines fine-tuned, quantized LLMs with expert oversight to produce accurate, computationally efficient, and context-aware analyses. The proposed approach was evaluated using similarity analysis and assessments from experienced tax officers, demonstrating stronger alignment with expert judgments than baseline models. By incorporating a human-in-the-loop framework, the methodology reduces LLM fabrication while improving the reliability and relevance of generated insights. The results demonstrate the practicality of combining LLMs with human expertise to support scalable, evidence-based decision-making in public sector organizations. This work contributes to the development of responsible AI systems that enhance service quality, responsiveness, fairness, and public trust through more effective analysis of multilingual customer feedback.
- Abstract（参考訳）: サービスフィードバックの分析の強化は、公共セクター組織、特に信頼とコンプライアンスが公正で効果的なサービス提供に依存している税務管理にとって不可欠である。
フィードバックのボリュームが大きくなるにつれて、サービス品質の問題と、多様な集団における潜在的な格差の特定がますます困難になっている。
従来のアプローチでは、手作業によるレビューや静的な専門家定義のインジケータ、スケーラビリティの制限、複雑なパターンをテキストフィードバックでキャプチャする機能などに依存しています。
本稿では,大規模言語モデル(LLM),統計技術,人間とAIのコラボレーションを統合し,多言語顧客フィードバック分析を改善する手法を提案する。
主な目的は、サービスデリバリの潜在的な不平等を明らかにする可能性のある、新興のサービス品質トピックを検出することである。
我々のフレームワークは、微調整された量子化されたLCMと専門家の監視を組み合わせることで、正確で、計算効率が良く、文脈対応の分析を行う。
提案手法は, 経験者税務官の類似性分析と評価を用いて評価し, 基準モデルよりも専門家の判断との整合性を強く示した。
ヒューマン・イン・ザ・ループ・フレームワークを組み込むことで、LLMの製作を削減し、生成した洞察の信頼性と妥当性を改善した。
この結果は、公共部門におけるスケーラブルでエビデンスに基づく意思決定を支援するために、LSMと人間の専門知識を組み合わせる実践性を実証するものである。
この研究は、多言語顧客のフィードバックをより効果的に分析することで、サービス品質、応答性、公正性、および公共信頼を高める責任あるAIシステムの開発に寄与する。
関連論文リスト
- LLM-Based Scientific Peer Review: Methods, Benchmarks, and Reliability Challenges [4.655159257282136]
この調査は,大規模言語モデル(LLM)に基づく科学的ピアレビューのシステムレベル分析を提供する。
批判生成とスコア予測という2つの中心的評価関数に注目した。
プロンプトインジェクション、データ中毒、検索脆弱性、報酬ハッキングなど、新興のリスクを特定します。
論文 参考訳（メタデータ） (2026-06-23T18:12:39Z) - Leveraging Large Language Models for Trustworthiness Assessment of Web Applications [13.909850314037653]
本研究では,大規模言語モデル(LLM)を活用したWebアプリケーションの信頼性評価を自動化する実証的手法を提案する。
本稿では,LSP(Logic Score of Preference)に基づく階層品質モデルの拡張を提案する。
実験結果から,過度な構造的コンテキストがノイズを発生させる可能性が示唆された。
論文 参考訳（メタデータ） (2026-03-24T23:33:54Z) - Towards Recommending Usability Improvements with Multimodal Large Language Models [40.77787659104315]
ユーザビリティテストや検査などの一般的な評価手法は、有効だがリソース集約であり、専門家の関与を必要とする。
マルチモーダルLCMの最近の進歩は、ユーザビリティ評価プロセスを自動化するための有望な機会を提供する。
以上の結果から,LCMがより高速で低コストなユーザビリティ評価を可能にする可能性が示唆された。
論文 参考訳（メタデータ） (2025-08-22T07:38:37Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。
より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
論文 参考訳（メタデータ） (2025-08-11T13:08:07Z) - Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases [0.0]
本研究では,Large Language Models (LLMs) におけるニュアンスバイアス検出フレームワークを提案する。
このアプローチは、コンテキスト分析、注意機構による解釈可能性、および反ファクトデータ拡張を統合して、隠れたバイアスをキャプチャする。
その結果,従来の方法に比べて微妙な偏見の検出精度が向上した。
論文 参考訳（メタデータ） (2025-03-08T04:43:01Z) - Can Large Language Models Serve as Data Analysts? A Multi-Agent Assisted Approach for Qualitative Data Analysis [4.539569292151314]
大規模言語モデル(LLM)は、ソフトウェア工学(SE)における人間とロボットの協調を可能にする
本研究では,人間の意思決定支援をAIと相乗化して,さまざまな定性的データ分析手法を自動化するLLMベースのマルチエージェントシステムの設計と開発を行う。
論文 参考訳（メタデータ） (2024-02-02T13:10:46Z) - AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。
AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。
これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文 参考訳（メタデータ） (2024-01-24T01:51:00Z) - MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。
このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。
GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
論文 参考訳（メタデータ） (2023-12-28T15:49:43Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。