論文の概要: Extracting Self-Consistent Causal Insights from Users Feedback with LLMs and In-context Learning

• arxiv url: http://arxiv.org/abs/2312.06820v1
• Date: Mon, 11 Dec 2023 20:12:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 18:09:02.714665
• Title: Extracting Self-Consistent Causal Insights from Users Feedback with LLMs and In-context Learning
• Title（参考訳）: LLMとインコンテクスト学習によるユーザフィードバックからの自己矛盾因果関係の抽出
• Authors: Sara Abdali, Anjali Parikh, Steve Lim, Emre Kiciman
• Abstract要約: Microsoft Windows Feedback Hubは、パワーやバッテリなどの重要なトピックを含む、幅広い分野の顧客からのフィードバックを受け取るように設計されている。 ユーザのフィードバックをテレメトリ信号に関連付けるために,Double Machine Learning(DML)を活用している。 私たちのアプローチでは、既知の問題を抽出し、新しいバグを発見し、バグにつながるイベントのシーケンスを特定できます。
• 参考スコア（独自算出の注目度）: 11.609805521822878
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Microsoft Windows Feedback Hub is designed to receive customer feedback on a wide variety of subjects including critical topics such as power and battery. Feedback is one of the most effective ways to have a grasp of users' experience with Windows and its ecosystem. However, the sheer volume of feedback received by Feedback Hub makes it immensely challenging to diagnose the actual cause of reported issues. To better understand and triage issues, we leverage Double Machine Learning (DML) to associate users' feedback with telemetry signals. One of the main challenges we face in the DML pipeline is the necessity of domain knowledge for model design (e.g., causal graph), which sometimes is either not available or hard to obtain. In this work, we take advantage of reasoning capabilities in Large Language Models (LLMs) to generate a prior model that which to some extent compensates for the lack of domain knowledge and could be used as a heuristic for measuring feedback informativeness. Our LLM-based approach is able to extract previously known issues, uncover new bugs, and identify sequences of events that lead to a bug, while minimizing out-of-domain outputs.
• Abstract（参考訳）: Microsoft Windows Feedback Hubは、パワーやバッテリなどの重要なトピックを含む、幅広い分野の顧客からのフィードバックを受け取るように設計されている。 フィードバックは、Windowsとそのエコシステムにおけるユーザの経験を把握するための最も効果的な方法の1つです。 しかし、Feedback Hubが受け取った大量のフィードバックは、報告された問題の実際の原因を診断することを非常に困難にしている。 そこで我々はDouble Machine Learning(DML)を利用してユーザのフィードバックをテレメトリ信号に関連付ける。 DMLパイプラインで直面する大きな課題のひとつは、モデル設計のためのドメイン知識(例えば、因果グラフ)の必要性です。 本研究では,大規模言語モデル(llms)における推論能力を活用して,ある程度の知識不足を補い,フィードバック情報量を測定するためのヒューリスティックとして使用できる先行モデルを生成する。 LLMベースのアプローチでは、既知の問題を抽出し、新しいバグを発見し、バグにつながるイベントのシーケンスを特定し、ドメイン外のアウトプットを最小化できます。

関連論文リスト

• LFOSum: Summarizing Long-form Opinions with Large Language Models [7.839083566878183]
  本稿では,(1)長文ユーザレビューの新しいデータセット,(1)1000以上のレビューを含むエンティティ,(2)長期入力にスケールする2つのトレーニングフリーLCMベースの要約アプローチ,(3)自動評価指標を紹介する。 ユーザレビューのデータセットは、ドメインの専門家による詳細な、偏見のない批判的な要約と組み合わせられ、評価の基準として役立ちます。 我々の評価では、LLMは長文要約における感情と形式順守のバランスをとる上で依然として課題に直面しているが、オープンソースモデルでは、関連する情報が集中的に検索される場合のギャップを狭めることができる。
  論文  参考訳（メタデータ） (2024-10-16T20:52:39Z)
• On the Automated Processing of User Feedback [7.229732269884235]
  ユーザフィードバックは、要件エンジニアリング、ユーザインターフェース設計、ソフトウェアエンジニアリングにとって、ますます重要な情報ソースとなります。 フィードバックの可能性を最大限に活用するためには、解決すべき主な課題が2つあります。 ベンダーは大量のフィードバックデータに対処しなければならない。 第二に、ベンダーはさまざまなフィードバックの質に対処しなければならない。
  論文  参考訳（メタデータ） (2024-07-22T10:13:13Z)
• Can Large Language Models Replicate ITS Feedback on Open-Ended Math Questions? [3.7399138244928145]
  本研究では,大規模言語モデルのオープンエンド数学質問に対するフィードバック生成能力について検討する。 オープンソースのモデルとプロプライエタリなモデルの両方が、トレーニング中に見たフィードバックを複製する可能性を示していますが、以前は見つからなかった学生のエラーに対して、十分に一般化していません。
  論文  参考訳（メタデータ） (2024-05-10T11:53:53Z)
• Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
  弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。 データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
  論文  参考訳（メタデータ） (2024-05-07T07:39:15Z)
• UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
  大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。 我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
  論文  参考訳（メタデータ） (2023-10-02T17:40:01Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing [139.77117915309023]
  CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。 自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
  論文  参考訳（メタデータ） (2023-05-19T15:19:44Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。