論文の概要: Hallucination-minimized Data-to-answer Framework for Financial
Decision-makers
- arxiv url: http://arxiv.org/abs/2311.07592v1
- Date: Thu, 9 Nov 2023 22:53:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-19 14:03:03.091811
- Title: Hallucination-minimized Data-to-answer Framework for Financial
Decision-makers
- Title(参考訳): 金融意思決定者のための幻覚最小化データ問合せフレームワーク
- Authors: Sohini Roychowdhury, Andres Alvarez, Brian Moore, Marko Krema, Maria
Paz Gelpi, Federico Martin Rodriguez, Angel Rodriguez, Jose Ramon Cabrejas,
Pablo Martinez Serrano, Punit Agrawal, Arijit Mukherjee
- Abstract要約: 大規模言語モデル(LLM)は、いくつかの自動化とパーソナライズされた質問応答プロトタイプの構築に応用されている。
本稿では,データテーブルを階層的なテキストデータチャンクに変換するLangchainベースのフレームワークを提案する。
- 参考スコア(独自算出の注目度): 1.3781777926017094
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Language Models (LLMs) have been applied to build several automation
and personalized question-answering prototypes so far. However, scaling such
prototypes to robust products with minimized hallucinations or fake responses
still remains an open challenge, especially in niche data-table heavy domains
such as financial decision making. In this work, we present a novel
Langchain-based framework that transforms data tables into hierarchical textual
data chunks to enable a wide variety of actionable question answering. First,
the user-queries are classified by intention followed by automated retrieval of
the most relevant data chunks to generate customized LLM prompts per query.
Next, the custom prompts and their responses undergo multi-metric scoring to
assess for hallucinations and response confidence. The proposed system is
optimized with user-query intention classification, advanced prompting, data
scaling capabilities and it achieves over 90% confidence scores for a variety
of user-queries responses ranging from {What, Where, Why, How, predict, trend,
anomalies, exceptions} that are crucial for financial decision making
applications. The proposed data to answers framework can be extended to other
analytical domains such as sales and payroll to ensure optimal hallucination
control guardrails.
- Abstract(参考訳): 大規模言語モデル(LLM)は、いくつかの自動化とパーソナライズされた質問応答プロトタイプの構築に応用されている。
しかし、このようなプロトタイプを最小限の幻覚や偽の反応で堅牢な製品にスケールすることは、まだ未解決の課題であり、特に金融意思決定のようなニッチなデータテーブル重大ドメインではなおさらである。
本稿では,データテーブルを階層的なテキストデータチャンクに変換し,多種多様な質問応答を可能にするラングチェーンベースのフレームワークを提案する。
まず、ユーザクエリを意図して分類し、最も関連するデータチャンクの自動検索を行い、クエリ毎にカスタマイズされたllmプロンプトを生成する。
次に、カスタムプロンプトとその応答を多値スコアで評価し、幻覚と応答信頼度を評価する。
提案システムは,ユーザクエリの意図分類,先進的なプロンプト,データスケーリング機能に最適化されており,財務上の意思決定アプリケーションに不可欠な,‘What, Where, Why, How, predict, trend, anomalies, exception’から,さまざまなユーザクエリ応答に対して90%以上の信頼スコアを達成している。
提案した回答フレームワークは,販売や給与といった他の分析領域に拡張して,最適な幻覚制御ガードレールを確保することができる。
関連論文リスト
- Persona-DB: Efficient Large Language Model Personalization for Response
Prediction with Collaborative Data Refinement [82.56964750522161]
本稿では,タスクコンテキスト間の一般化を改善するため,階層的な構築プロセスからなるシンプルなフレームワークであるPersona-DBを紹介する。
応答予測のタスクでは,Persona-DBは,検索サイズを大幅に削減した精度を維持する上で,優れた効率性を示す。
我々の実験は、ユーザーが極めて少ないデータを持つ場合、コールドスタートシナリオで15%以上の顕著な改善が示されていることも示している。
論文 参考訳(メタデータ) (2024-02-16T20:20:43Z) - Active Preference Inference using Language Models and Probabilistic
Reasoning [15.198912276468198]
本稿では,大規模言語モデルによるユーザの嗜好の推測を支援する推論時アルゴリズムを提案する。
我々のアルゴリズムは, LLM を誘導することで条件分布が定義される確率モデルを用いている。
実商品を用いた簡易な対話型Webショッピング設定の結果, エントロピー低減アルゴリズムを備えたLCMは, ベースラインよりも優れていた。
論文 参考訳(メタデータ) (2023-12-19T09:58:54Z) - On the steerability of large language models toward data-driven personas [103.17413190093366]
協調フィルタリングに基づくデータ駆動型ペルソナ定義手法を提案する。
ユーザの連続表現を仮想トークンのシーケンスにマッピングするために,ソフトプロンプトモデルを学ぶ。
以上の結果から,本アルゴリズムはベースラインの収集よりも性能が優れていることがわかった。
論文 参考訳(メタデータ) (2023-11-08T19:01:13Z) - Integrating Summarization and Retrieval for Enhanced Personalization via
Large Language Models [11.950478880423733]
パーソナライゼーションは自然言語処理(NLP)システムにおけるユーザエクスペリエンスにおいて重要な要素である。
LLM(Large Language Models)の出現によって、重要な疑問は、これらのモデルを使ってユーザエクスペリエンスをよりパーソナライズする方法である。
LLMが生成するタスク対応ユーザ要約を用いた,新しい要約型パーソナライゼーションを提案する。
論文 参考訳(メタデータ) (2023-10-30T23:40:41Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳(メタデータ) (2023-10-22T16:07:06Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Conversational Financial Information Retrieval Model (ConFIRM) [3.119127487118468]
本稿では,照会意図の分類と知識ベースラベリングに適した LLM ベースの財務情報検索モデル ConFIRM を提案する。
ConFIRMは,1)ドメイン固有の問合せペアを合成する手法,2)クエリ分類タスクのためのパラメータ効率の良い微調整手法の評価,の2つのモジュールから構成される。
論文 参考訳(メタデータ) (2023-10-06T12:31:05Z) - Explainable Active Learning for Preference Elicitation [0.0]
我々は、最小限のユーザ労力で情報取得を最大化することを目的として、この問題を解決するためにアクティブラーニング(AL)を採用している。
ALは、大きなラベルのない集合から情報的データを選択して、それらをラベル付けするオラクルを問い合わせる。
ベースとなる機械学習(ML)モデルを更新するために、ユーザからのフィードバック(提示された項目に関するシステムの説明のために)を情報的なサンプルから収集する。
論文 参考訳(メタデータ) (2023-09-01T09:22:33Z) - Towards Personalized Answer Generation in E-Commerce via
Multi-Perspective Preference Modeling [62.049330405736406]
Eコマースプラットフォーム上での製品質問回答(PQA)は、インテリジェントオンラインショッピングアシスタントとして機能するため、注目を集めている。
なぜなら、多くの顧客は、自分でのみカスタマイズされた情報でパーソナライズされた回答を見たいと思っているからです。
PQAにおけるパーソナライズされた回答を生成するための,新しいマルチパースペクティブなユーザ嗜好モデルを提案する。
論文 参考訳(メタデータ) (2021-12-27T07:51:49Z) - Text Summarization with Latent Queries [60.468323530248945]
本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。
本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。
本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
論文 参考訳(メタデータ) (2021-05-31T21:14:58Z) - Differentially Private Query Release Through Adaptive Projection [19.449593001368193]
我々は,$k$-way マージンのような膨大な統計クエリに対する回答を解放するための新しいアルゴリズムを提案し,実装し,評価する。
我々のアルゴリズムは、単純な摂動を用いて、プライベートデータセット上のクエリに応答するプロジェクションメカニズムの連続緩和を適応的に利用する。
特に,プライバシ予算が小さい場合や,クエリクラスが大きい場合など,既存のアルゴリズムよりも優れていることが判明した。
論文 参考訳(メタデータ) (2021-03-11T12:43:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。