論文の概要: Evaluating LLMs in Finance Requires Explicit Bias Consideration
- arxiv url: http://arxiv.org/abs/2602.14233v1
- Date: Sun, 15 Feb 2026 17:02:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 16:22:49.757659
- Title: Evaluating LLMs in Finance Requires Explicit Bias Consideration
- Title(参考訳): LLMの評価には明確なバイアスの考慮が必要
- Authors: Yaxuan Kong, Hoyoung Lee, Yoontae Hwang, Alejandro Lopez-Lira, Bradford Levy, Dhagash Mehta, Qingsong Wen, Chanyeol Choi, Yongjae Lee, Stefan Zohren,
- Abstract要約: ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。
一つのバイアスが28%以上の研究で議論されることはない。
本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
- 参考スコア(独自算出の注目度): 88.38155218924999
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) are increasingly integrated into financial workflows, but evaluation practice has not kept up. Finance-specific biases can inflate performance, contaminate backtests, and make reported results useless for any deployment claim. We identify five recurring biases in financial LLM applications. They include look-ahead bias, survivorship bias, narrative bias, objective bias, and cost bias. These biases break financial tasks in distinct ways and they often compound to create an illusion of validity. We reviewed 164 papers from 2023 to 2025 and found that no single bias is discussed in more than 28 percent of studies. This position paper argues that bias in financial LLM systems requires explicit attention and that structural validity should be enforced before any result is used to support a deployment claim. We propose a Structural Validity Framework and an evaluation checklist with minimal requirements for bias diagnosis and future system design. The material is available at https://github.com/Eleanorkong/Awesome-Financial-LLM-Bias-Mitigation.
- Abstract(参考訳): 大規模言語モデル(LLM)は、金融ワークフローにますます統合されているが、評価プラクティスは維持されていない。
ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果がデプロイメントのクレームに役に立たないようにする。
金融LLMアプリケーションにおける5つの繰り返しバイアスを同定する。
その中には、ルックアヘッドバイアス、サバイバルシップバイアス、ナラティブバイアス、客観的バイアス、コストバイアスが含まれる。
これらのバイアスは、財政的なタスクを異なる方法で破り、しばしば有効性の錯覚を生み出すために複雑になる。
我々は、2023年から2025年までの164の論文をレビューし、調査の28%以上で1つのバイアスが議論されていないことを発見した。
このポジションペーパーでは、金融LLMシステムのバイアスには明確な注意が必要であり、いかなる結果もデプロイメントのクレームをサポートするために使われる前に構造的妥当性を強制すべきである、と論じている。
本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
資料はhttps://github.com/Eleanorkong/Awesome-Financial-LLM-Bias-Mitigationで公開されている。
関連論文リスト
- Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection [64.75447949495307]
大規模言語モデル (LLM) は金融分野に広く適用されている。
行動バイアスは、意思決定における不安定性と不確実性をもたらす可能性がある。
mfmdscenは様々な経済シナリオで mfmdの行動バイアスを評価するベンチマークです
論文 参考訳(メタデータ) (2026-01-08T22:00:32Z) - Intrinsic Meets Extrinsic Fairness: Assessing the Downstream Impact of Bias Mitigation in Large Language Models [11.396244643030983]
大規模言語モデル(LLM)は、下流のタスクに伝播する社会経済的バイアスを示す。
本研究では,非学習概念による内在バイアス緩和と,反事実データ拡張による外在バイアス緩和を比較するための統合評価フレームワークを提案する。
その結果,非学習による内在的偏見緩和は,内在性偏見を最大94.9%減少させるとともに,人口順等下流のタスクフェアネス指標を最大82%向上させ,精度を損なうことなく改善することを示した。
論文 参考訳(メタデータ) (2025-09-19T22:59:55Z) - Your AI, Not Your View: The Bias of LLMs in Investment Analysis [62.388554963415906]
金融において、Large Language Models (LLMs) は、事前訓練されたパラメトリック知識とリアルタイム市場データとの相違から生じる、頻繁な知識紛争に直面している。
これらの対立は、モデル固有のバイアスが制度的目的と誤認される現実世界の投資サービスにおいて特に問題となる。
本研究では,このような紛争シナリオにおける創発的行動を調べるための実験的枠組みを提案し,投資分析におけるバイアスの定量的分析を行う。
論文 参考訳(メタデータ) (2025-07-28T16:09:38Z) - With a Grain of SALT: Are LLMs Fair Across Social Dimensions? [3.5001789247699535]
本稿では,ジェンダー,宗教,人種にまたがるオープンソースのLarge Language Models(LLM)におけるバイアスの系統的分析について述べる。
私たちはSALTデータセットを使用して,General Debate, positioned Debate, Career Advice, Problem Solving, CV Generationという,5つの異なるバイアストリガを組み込んでいます。
以上の結果から, モデル間で一貫した分極が明らかとなり, 組織的に好意的あるいは好ましくない治療を受ける集団が存在する。
論文 参考訳(メタデータ) (2024-10-16T12:22:47Z) - JobFair: A Framework for Benchmarking Gender Hiring Bias in Large Language Models [12.12628747941818]
本稿では,Large Language Models (LLMs) における階層的ジェンダー採用バイアスのベンチマークを行うための新しいフレームワークを提案する。
我々は、労働経済学、法原則、現在のバイアスベンチマークの批判に根ざした新しい構成を導入する。
我々は、現在最先端の10のLCMにおける性別採用バイアスを分析する。
論文 参考訳(メタデータ) (2024-06-17T09:15:57Z) - Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs [44.53203911878139]
大規模言語モデル(LLM)は、複雑な市場データとトレンドを解釈する金融分析において、ますます採用されている。
Financial Bias Indicators (FBI)は、Bias Unveiler、Bias Detective、Bias Tracker、Bias Antidoteといったコンポーネントを備えたフレームワークである。
我々は、23のLLMを評価し、財務因果知識に基づく非バイアス化手法を提案する。
論文 参考訳(メタデータ) (2024-02-20T04:26:08Z) - GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language
Models [83.30078426829627]
大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。
既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。
本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-11T12:02:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。