論文の概要: Benchmarking Large Language Model Volatility
- arxiv url: http://arxiv.org/abs/2311.15180v1
- Date: Sun, 26 Nov 2023 03:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 18:58:23.449777
- Title: Benchmarking Large Language Model Volatility
- Title(参考訳): 大規模言語モデルのボラティリティのベンチマーク
- Authors: Boyang Yu
- Abstract要約: 大規模言語モデル(LLM)からの非決定論的アウトプットの影響は,財務テキスト理解タスクにおいて十分に検討されていない。
ニュース感情分析を通じて、米国株式市場への投資に関する説得力あるケーススタディを通じて、文レベルの感情分類結果のかなりの変動を明らかにする。
これらの不確実性は下流のカスケードとなり、ポートフォリオの構築とリターンに大きな変化をもたらした。
- 参考スコア(独自算出の注目度): 4.660822118740283
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The impact of non-deterministic outputs from Large Language Models (LLMs) is
not well examined for financial text understanding tasks. Through a compelling
case study on investing in the US equity market via news sentiment analysis, we
uncover substantial variability in sentence-level sentiment classification
results, underscoring the innate volatility of LLM outputs. These uncertainties
cascade downstream, leading to more significant variations in portfolio
construction and return. While tweaking the temperature parameter in the
language model decoder presents a potential remedy, it comes at the expense of
stifled creativity. Similarly, while ensembling multiple outputs mitigates the
effect of volatile outputs, it demands a notable computational investment. This
work furnishes practitioners with invaluable insights for adeptly navigating
uncertainty in the integration of LLMs into financial decision-making,
particularly in scenarios dictated by non-deterministic information.
- Abstract(参考訳): 大規模言語モデル(LLM)からの非決定論的アウトプットの影響は,財務テキスト理解タスクにおいて十分に検討されていない。
ニュース感情分析による米国株式市場への投資に関する説得力のあるケーススタディを通じて、文レベルの感情分類結果の実質的な変動を明らかにし、llm出力の生来のボラティリティを強調する。
これらの不確実性は下流に流れ込み、ポートフォリオの構築とリターンに大きな変化をもたらした。
言語モデルデコーダの温度パラメータを微調整すると、潜在的な対策が提示されるが、創造性を損なうことになる。
同様に、複数の出力をアンサンブルすることは揮発性出力の効果を緩和するが、注目すべき計算投資を必要とする。
本研究は,LLMの金融意思決定への統合の不確実性,特に非決定論的情報によって決定されるシナリオにおいて,不確実性に対処するための貴重な洞察を実践者に与えている。
関連論文リスト
- Uncertainty Decomposition and Quantification for In-Context Learning of
Large Language Models [54.18411645870683]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳(メタデータ) (2024-02-15T18:46:24Z) - It's Never Too Late: Fusing Acoustic Information into Large Language
Models for Automatic Speech Recognition [70.77292069313154]
大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。
本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-08T07:21:45Z) - Lost in the Source Language: How Large Language Models Evaluate the
Quality of Machine Translation [68.43666295024714]
大規模言語モデル (LLM) は機械翻訳評価タスクにおいて顕著な成果を上げている。
本研究は,LLMが翻訳評価においてソース情報と参照情報をどのように活用するかを検討することを目的とする。
論文 参考訳(メタデータ) (2024-01-12T13:23:21Z) - Decomposing Uncertainty for Large Language Models through Input
Clarification Ensembling [74.00331519233026]
大規模言語モデル(LLM)のための不確実性分解フレームワークを提案する。
我々のフレームワークは入力の一連の明確化を生成し、それらを固定LLMに入力し、対応する予測をアンサンブルする。
実験により,提案手法は様々なタスクに対して正確かつ確実な不確実性定量化を提供することを示した。
論文 参考訳(メタデータ) (2023-11-15T05:58:35Z) - Quantifying Uncertainty in Natural Language Explanations of Large
Language Models [29.34960984639281]
大規模言語モデル (LLM) は、高スループット自然言語処理 (NLP) アプリケーションのための強力なツールとして、ますます使われている。
生成された説明の不確かさを定量化するために、$textitVerbalized Uncertainty$と$textitProbing Uncertainty$という2つの新しいメトリクスを提案します。
ベンチマークデータセットの実証分析により、言語化された不確実性は説明の信頼性の信頼できる見積りではないことが判明した。
論文 参考訳(メタデータ) (2023-11-06T21:14:40Z) - Towards reducing hallucination in extracting information from financial
reports using Large Language Models [1.2289361708127877]
本稿では,Large Language Models (LLMs) が業績報告書から効率的にかつ迅速に情報を抽出する方法を示す。
我々は,Q&Aシステム評価のための様々な客観的指標に基づいて,提案手法を使わずに,様々なLCMの結果を評価する。
論文 参考訳(メタデータ) (2023-10-16T18:45:38Z) - Enhancing Financial Sentiment Analysis via Retrieval Augmented Large
Language Models [11.154814189699735]
大規模な言語モデル (LLM) は様々なNLPタスクにおいて優れた性能を示した。
本稿では,金融感情分析のためのLLMフレームワークを提案する。
提案手法の精度は15%から48%向上し,F1得点を得た。
論文 参考訳(メタデータ) (2023-10-06T05:40:23Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Shifting Attention to Relevance: Towards the Uncertainty Estimation of
Large Language Models [28.67546891608135]
大規模言語モデル (LLMs) は, 自然言語生成や命令の追従において, 顕著な可能性を示している。
不確実性定量化(UQ)は有望なソリューションであり、LLMのコンテキスト内での正確な実装は依然として大きなハードルである。
我々は,より関連性の高いコンポーネントへの注意をトークンレベルと文レベルの両方で協調的にシフトし,正確な不確かさを推定する。
論文 参考訳(メタデータ) (2023-07-03T22:17:16Z) - Understanding and Mitigating the Uncertainty in Zero-Shot Translation [66.49354195238789]
ゼロショット翻訳の不確実性の観点から、オフターゲット問題を理解し、緩和することを目的としている。
翻訳出力とモデル信頼度を慎重に調べることで、ターゲット外問題の原因となる2つの不確実性を特定する。
そこで本研究では,モデルトレーニングのためのトレーニングデータを認知するための2つの軽量かつ補完的なアプローチを提案し,推論におけるオフターゲット言語の語彙を隠蔽する。
論文 参考訳(メタデータ) (2022-05-20T10:29:46Z) - A Comprehensive Review on Summarizing Financial News Using Deep Learning [8.401473551081747]
自然言語処理技術は通常、そのような大量のデータを扱うために使われ、そこから貴重な情報を得るのに使用される。
本研究では,BoW,TF-IDF,Word2Vec,BERT,GloVe,FastTextなどの埋め込み技術を用いて,RNNやLSTMなどのディープラーニングモデルに入力する。
ディープリーミングは、望まれる結果を得るか、最先端技術よりも高い精度を達成するために適用されることが期待された。
論文 参考訳(メタデータ) (2021-09-21T12:00:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。