論文の概要: Extracting Self-Consistent Causal Insights from Users Feedback with LLMs
and In-context Learning
- arxiv url: http://arxiv.org/abs/2312.06820v1
- Date: Mon, 11 Dec 2023 20:12:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 18:09:02.714665
- Title: Extracting Self-Consistent Causal Insights from Users Feedback with LLMs
and In-context Learning
- Title(参考訳): LLMとインコンテクスト学習によるユーザフィードバックからの自己矛盾因果関係の抽出
- Authors: Sara Abdali, Anjali Parikh, Steve Lim, Emre Kiciman
- Abstract要約: Microsoft Windows Feedback Hubは、パワーやバッテリなどの重要なトピックを含む、幅広い分野の顧客からのフィードバックを受け取るように設計されている。
ユーザのフィードバックをテレメトリ信号に関連付けるために,Double Machine Learning(DML)を活用している。
私たちのアプローチでは、既知の問題を抽出し、新しいバグを発見し、バグにつながるイベントのシーケンスを特定できます。
- 参考スコア(独自算出の注目度): 11.609805521822878
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Microsoft Windows Feedback Hub is designed to receive customer feedback on a
wide variety of subjects including critical topics such as power and battery.
Feedback is one of the most effective ways to have a grasp of users' experience
with Windows and its ecosystem. However, the sheer volume of feedback received
by Feedback Hub makes it immensely challenging to diagnose the actual cause of
reported issues. To better understand and triage issues, we leverage Double
Machine Learning (DML) to associate users' feedback with telemetry signals. One
of the main challenges we face in the DML pipeline is the necessity of domain
knowledge for model design (e.g., causal graph), which sometimes is either not
available or hard to obtain. In this work, we take advantage of reasoning
capabilities in Large Language Models (LLMs) to generate a prior model that
which to some extent compensates for the lack of domain knowledge and could be
used as a heuristic for measuring feedback informativeness. Our LLM-based
approach is able to extract previously known issues, uncover new bugs, and
identify sequences of events that lead to a bug, while minimizing out-of-domain
outputs.
- Abstract(参考訳): Microsoft Windows Feedback Hubは、パワーやバッテリなどの重要なトピックを含む、幅広い分野の顧客からのフィードバックを受け取るように設計されている。
フィードバックは、Windowsとそのエコシステムにおけるユーザの経験を把握するための最も効果的な方法の1つです。
しかし、Feedback Hubが受け取った大量のフィードバックは、報告された問題の実際の原因を診断することを非常に困難にしている。
そこで我々はDouble Machine Learning(DML)を利用してユーザのフィードバックをテレメトリ信号に関連付ける。
DMLパイプラインで直面する大きな課題のひとつは、モデル設計のためのドメイン知識(例えば、因果グラフ)の必要性です。
本研究では,大規模言語モデル(llms)における推論能力を活用して,ある程度の知識不足を補い,フィードバック情報量を測定するためのヒューリスティックとして使用できる先行モデルを生成する。
LLMベースのアプローチでは、既知の問題を抽出し、新しいバグを発見し、バグにつながるイベントのシーケンスを特定し、ドメイン外のアウトプットを最小化できます。
関連論文リスト
- Optimizing Language Model's Reasoning Abilities with Weak Supervision [48.60598455782159]
弱い教師付きベンチマークであるtextscPuzzleBen について,25,147 の複雑な質問,回答,人為的合理性からなる。
データセットのユニークな側面は、10,000の未注釈の質問を含めることであり、LLMの推論能力を高めるために、より少ないスーパーサイズのデータを活用することができる。
論文 参考訳(メタデータ) (2024-05-07T07:39:15Z) - Quantifying and Mitigating Unimodal Biases in Multimodal Large Language Models: A Causal Perspective [9.633811630889237]
視覚質問応答問題におけるバイアスを解釈するための因果的枠組みを提案する。
因果グラフに触発され、12,000のVQAインスタンスからなる新しいMOREデータセットを導入する。
本稿では,MLLMの推論能力を高めるための2つの手法を提案する。
論文 参考訳(メタデータ) (2024-03-27T08:38:49Z) - Causal Structure Representation Learning of Confounders in Latent Space
for Recommendation [6.839357057621987]
ユーザの過去のフィードバックからユーザの好みを推測することは,レコメンデーションシステムにおいて重要な問題である。
我々は、共同創設者の影響を考慮し、潜在分野におけるユーザー嗜好から引き離し、相互依存をモデル化するために因果グラフを用いる。
論文 参考訳(メタデータ) (2023-11-02T08:46:07Z) - System-Level Natural Language Feedback [83.24259100437965]
システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。
検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。
システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
論文 参考訳(メタデータ) (2023-06-23T16:21:40Z) - How Can Recommender Systems Benefit from Large Language Models: A Survey [83.90471827695625]
大きな言語モデル(LLM)は、印象的な汎用知性と人間のような能力を示している。
我々は,実世界のレコメンデータシステムにおけるパイプライン全体の観点から,この研究の方向性を包括的に調査する。
論文 参考訳(メタデータ) (2023-06-09T11:31:50Z) - CRITIC: Large Language Models Can Self-Correct with Tool-Interactive
Critiquing [139.77117915309023]
CRITICは、大規模な言語モデルに対して、ツールとのヒューマンインタラクションに似た方法で、自分たちのアウトプットの検証と修正を可能にする。
自由形式の質問応答、数学的プログラム合成、毒性低減を含む包括的評価は、CRITICがLLMの性能を一貫して向上することを証明している。
論文 参考訳(メタデータ) (2023-05-19T15:19:44Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Simulating Bandit Learning from User Feedback for Extractive Question
Answering [51.97943858898579]
教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。
当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
論文 参考訳(メタデータ) (2022-03-18T17:47:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。