論文の概要: The Analyst in the Prompt: Role, Retrieval, and Memory Biases in LLM Financial Analysis
- arxiv url: http://arxiv.org/abs/2609.03218v1
- Date: Wed, 02 Sep 2026 23:28:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:38.869165
- Title: The Analyst in the Prompt: Role, Retrieval, and Memory Biases in LLM Financial Analysis
- Title(参考訳): LLMファイナンシャル・アナリティクスにおける役割, 検索, 記憶バイアス
- Abstract要約: 金融はこの問題を研究するための高額な条件を提供する。
決定はしばしば、長く複雑な文書の解釈に依存する。
ユーザコンテキストの流出のほとんどは、モデルが異なる役割の下で同じ証拠を解釈する方法から来ています。
- 参考スコア(独自算出の注目度): 4.877806734718418
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) increasingly use user context such as memory, profiles, and role prompts to personalize their responses. This personalization can affect evidence-based judgment: the same evidence may lead to different conclusions under different user contexts. Finance provides a high-stakes setting to study this problem because decisions often depend on interpreting long and complex documents. We test this using 3,575 SEC filings across twelve LLMs. We compare persona-conditioned retrieval, neutral retrieval, and memory-framed context to separate the effect of evidence selection from the effect of interpretation. We find that most user-context spillover comes from how models interpret the same evidence under different roles, rather than from retrieving different evidence. We then test two simple mitigation strategies: expressing the same investor mindset as a user profile instead of an assistant role, and separating evidence-based and personalized outputs. Both reduce spillover, but neither removes it completely, and their effectiveness varies substantially across models.
- Abstract(参考訳): 大規模言語モデル(LLM)は、メモリ、プロファイル、ロールプロンプトなどのユーザコンテキストを使って、応答をパーソナライズする。
このパーソナライゼーションはエビデンスに基づく判断に影響を与える可能性がある。
なぜなら、意思決定はしばしば長く複雑な文書の解釈に依存するからである。
われわれは12のLLMにわたる3,575件のSEC書類を使ってこれを検証している。
我々は、ペルソナ条件付き検索、中立検索、メモリフレームコンテキストを比較し、エビデンス選択の効果と解釈の効果を分離する。
ユーザコンテキストの流出のほとんどは、モデルが異なる役割の下で同じ証拠を解釈する方法から来ています。
次に、私たちは2つの単純な緩和戦略をテストします。
どちらも流出を減らすが、どちらも完全に除去せず、その効果はモデルによって大きく異なる。
関連論文リスト
- Adaptive Interviewing for Persona Simulation in LLMs: Evidence-Grounded Reasoning Improves Decision Alignment [23.066564025282386]
構造化された3段階対話を通してペルソナ関連情報を収集するアダプティブ・インタビュー・フレームワークを提案する。
我々は,大規模言語モデルが道徳ジレンマシナリオにおける参加者の決定をシミュレートできるかどうかを評価する。
論文 参考訳(メタデータ) (2026-05-28T06:53:08Z) - Benchmarking Deflection and Hallucination in Large Vision-Language Models [25.176271096443482]
既存のベンチマークでは、視覚的証拠とテキスト的証拠の衝突を見落としている。
多様なマルチモーダル検索設定にまたがる2,775個のサンプルのベンチマークであるVLM-DeflectionBenchを紹介する。
私たちの結果は、モデルが知っていることだけでなく、そうでないときにどのように振る舞うかを評価する必要性を強調します。
論文 参考訳(メタデータ) (2026-04-13T20:22:22Z) - Do LLMs Benefit From Their Own Words? [56.73014497206615]
先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。
アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。
本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
論文 参考訳(メタデータ) (2026-02-27T18:58:26Z) - Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Literal Extraction, Logical Inference, and Hallucination Risks in Long-Context LLMs [0.0]
大きな言語モデル(LLM)は、非常に長い入力コンテキストをサポートするようになった。
どのようにして情報を抽出し、大規模に推測するかは、まだ不明である。
我々は, 事実配置, コーパスレベルの事実分布, そして, モデル行動にどう影響するかを考察する。
論文 参考訳(メタデータ) (2026-01-05T11:30:56Z) - Addressing Personalized Bias for Unbiased Learning to Rank [56.663619153713434]
Unbiased Learning to rank (ULTR)は、バイアスのあるユーザの行動ログからバイアスのないランキングモデルを学ぶことを目的としている。
そこで本研究では,学習からランクへの目標値を求めるために,新しいユーザ認識逆確率スコア推定器を提案する。
論文 参考訳(メタデータ) (2025-08-28T14:01:31Z) - Revisiting LLM Value Probing Strategies: Are They Robust and Expressive? [81.49470136653665]
広範に利用されている3つの探索戦略における値表現の頑健さと表現性を評価する。
人口統計学的文脈は自由テキスト生成にはほとんど影響を与えず、モデルの値は値に基づく行動の好みと弱い相関しか示さない。
論文 参考訳(メタデータ) (2025-07-17T18:56:41Z) - Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。
ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。
説明は正しい応答と誤応答の両方に依存することが判明した。
情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
論文 参考訳(メタデータ) (2025-02-12T16:35:41Z) - Procedural Knowledge in Pretraining Drives Reasoning in Large Language Models [30.066436019078164]
推論タスクを行う際に,大規模言語モデルが採用する一般化戦略について検討する。
以上の結果から, モデルを用いた推論手法は検索と異なり, より一般化可能な戦略であることが示唆された。
論文 参考訳(メタデータ) (2024-11-19T15:47:12Z) - Attribute or Abstain: Large Language Models as Long Document Assistants [58.32043134560244]
LLMは人間が長い文書を扱うのを助けることができるが、幻覚で知られている。
既存の属性に対するアプローチはRAG設定でのみ評価されている。
これは、検索が不要な長いドキュメント設定とは大きく異なるが、助けになる可能性がある。
そこで本研究では,6種類の多種多様文書タスクのベンチマークであるLABと,異なる大きさの5つのLLMに対する属性に対する異なるアプローチの実験を行う。
論文 参考訳(メタデータ) (2024-07-10T16:16:02Z) - What Evidence Do Language Models Find Convincing? [94.90663008214918]
議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。
このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。
全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
論文 参考訳(メタデータ) (2024-02-19T02:15:34Z) - Intuitive or Dependent? Investigating LLMs' Behavior Style to
Conflicting Prompts [9.399159332152013]
本研究では,Large Language Models (LLM) の動作を,内部記憶と競合するプロンプトに直面する場合の挙動について検討する。
これにより、LLMの意思決定機構を理解し、検索強化生成(RAG)のような現実世界のアプリケーションにも役立つ。
論文 参考訳(メタデータ) (2023-09-29T17:26:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。