論文の概要: AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models

• arxiv url: http://arxiv.org/abs/2403.15157v1
• Date: Fri, 22 Mar 2024 12:13:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 17:38:51.114300
• Title: AllHands: Ask Me Anything on Large-scale Verbatim Feedback via Large Language Models
• Title（参考訳）: AllHands: 大規模言語モデルによる大規模言語フィードバックについて質問する
• Authors: Chaoyun Zhang, Zicheng Ma, Yuhao Wu, Shilin He, Si Qin, Minghua Ma, Xiaoting Qin, Yu Kang, Yuyi Liang, Xiaoyu Gou, Yajie Xue, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang,
• Abstract要約: Allhandsは、自然言語インタフェースによる大規模なフィードバック分析のために設計された革新的な分析フレームワークである。 LLMは、精度、堅牢性、一般化、ユーザフレンドリー性を高める大きな言語モデルである。 Allhandsは、テキスト、コード、テーブル、イメージを含む、包括的なマルチモーダルレスポンスを提供する。
• 参考スコア（独自算出の注目度）: 34.82568259708465
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Verbatim feedback constitutes a valuable repository of user experiences, opinions, and requirements essential for software development. Effectively and efficiently extracting valuable insights from such data poses a challenging task. This paper introduces Allhands , an innovative analytic framework designed for large-scale feedback analysis through a natural language interface, leveraging large language models (LLMs). Allhands adheres to a conventional feedback analytic workflow, initially conducting classification and topic modeling on the feedback to convert them into a structurally augmented format, incorporating LLMs to enhance accuracy, robustness, generalization, and user-friendliness. Subsequently, an LLM agent is employed to interpret users' diverse questions in natural language on feedback, translating them into Python code for execution, and delivering comprehensive multi-modal responses, including text, code, tables, and images. We evaluate Allhands across three diverse feedback datasets. The experiments demonstrate that Allhands achieves superior efficacy at all stages of analysis, including classification and topic modeling, eventually providing users with an ``ask me anything'' experience with comprehensive, correct and human-readable response. To the best of our knowledge, Allhands stands as the first comprehensive feedback analysis framework that supports diverse and customized requirements for insight extraction through a natural language interface.
• Abstract（参考訳）: Verbatimのフィードバックは、ソフトウェア開発に不可欠なユーザエクスペリエンス、意見、要求の貴重なリポジトリを構成する。 このようなデータから価値ある洞察を効果的かつ効率的に抽出することは、難しい課題となる。 本稿では,大規模言語モデル(LLM)を活用した,自然言語インタフェースによる大規模フィードバック分析のための革新的な分析フレームワークであるAllhandsを紹介する。 Allhandsは従来のフィードバック分析ワークフローに固執し、最初は分類とトピックモデリングを行い、それらを構造的に拡張されたフォーマットに変換し、正確性、堅牢性、一般化、ユーザフレンドリ性を高めるためにLSMを組み込んだ。 その後、LLMエージェントを使用して、自然言語のさまざまな質問を自然言語で解釈し、実行のためにPythonコードに翻訳し、テキスト、コード、テーブル、イメージを含む包括的なマルチモーダルレスポンスを提供する。 Allhandsを3つの多様なフィードバックデータセットで評価する。 実験により、Allhandsは、分類やトピックモデリングを含む分析のあらゆる段階で優れた効果を達成し、最終的には、包括的で正しい、人間が読める応答を持つ‘ask me anything’体験をユーザに提供した。 私たちの知識を最大限に活用するために、Allhandsは、自然言語インターフェースを通じて洞察抽出のための多様でカスタマイズされた要求をサポートする、初めての総合的なフィードバック分析フレームワークである。

関連論文リスト

• Active Preference-based Learning for Multi-dimensional Personalization [7.349038301460469]
  大規模言語モデル(LLM)はタスク間で顕著な汎用性を示しているが、個々の人間の好みに合わせることは依然として困難である。 複数の目的にまたがるユーザの嗜好を推定するためにバイナリフィードバックを用いた能動的嗜好学習フレームワークを提案する。 モデル応答をパーソナライズする上で,言語生成タスクに関する理論的解析と実験を行い,そのフィードバック効率と有効性を示す。
  論文  参考訳（メタデータ） (2024-11-01T11:49:33Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• Adapting Large Language Models to Domains via Reading Comprehension [86.24451681746676]
  ドメイン固有コーパスの事前学習が大規模言語モデルに与える影響について検討する。 生のコーパスでのトレーニングはドメイン知識でモデルを養うが、問合せ能力を大幅に損なう。 生コーパスを可読テキストに変換する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:17:52Z)
• Exploring Large Language Model for Graph Data Understanding in Online Job Recommendations [63.19448893196642]
  本稿では,大規模言語モデルが提供するリッチな文脈情報と意味表現を利用して行動グラフを解析する新しいフレームワークを提案する。 この機能を利用することで、個々のユーザに対してパーソナライズされた、正確なジョブレコメンデーションが可能になる。
  論文  参考訳（メタデータ） (2023-07-10T11:29:41Z)
• AaKOS: Aspect-adaptive Knowledge-based Opinion Summarization [5.4138734778206]
  インターネット上の情報の急速な増加は、様々な活動、製品、サービスに関する圧倒的な意見やコメントにつながっている。 これにより、ユーザが意思決定を行うときに利用可能なすべての情報を処理するのが難しく、時間がかかります。 本稿では,製品レビューのためのアスペクト適応型知識ベースオピニオン要約モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-26T03:44:35Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• Abstractive Summarization of Spoken and Written Instructions with BERT [66.14755043607776]
  本稿では,BERTSumモデルの最初の対話型言語への応用について述べる。 我々は多種多様な話題にまたがるナレーションビデオの抽象要約を生成する。 我々は、これをインテリジェントな仮想アシスタントの機能として統合し、要求に応じて文字と音声の両方の指導内容の要約を可能にすることを想定する。
  論文  参考訳（メタデータ） (2020-08-21T20:59:34Z)
• Quda: Natural Language Queries for Visual Data Analytics [33.983060903399554]
  我々は、V-NLIが自由形式の自然言語から解析タスクを認識するのを支援するために、Qudaと呼ばれる新しいデータセットを提案する。 私たちのデータセットには14,035ドルの多様なユーザクエリが含まれており、それぞれに1つまたは複数の分析タスクがアノテートされている。 この研究は、解析的タスクを認識するための大規模コーパスを構築する最初の試みである。
  論文  参考訳（メタデータ） (2020-05-07T05:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。