論文の概要: Same Person, Different Advice: Auditing LLM Financial Advice with Repeated Risk-Tolerance Responses

• arxiv url: http://arxiv.org/abs/2610.23060v1
• Date: Fri, 16 Oct 2026 07:39:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.818554
• Title: Same Person, Different Advice: Auditing LLM Financial Advice with Repeated Risk-Tolerance Responses
• Title（参考訳）: 同一人物, 異なるアドバイス: 反復的リスク耐性応答を用いたLCMファイナンシャルアドバイザの検討
• Abstract要約: アメリカ全国委員会では、世帯の41%が2年後に別の回答を選択した。 実験室では、被験者の3分の1が6ヶ月後に0-10スケールで2つ以上のポイントを移動した。 推奨株価は平均10～16ポイント上昇した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI financial advisers set a client's stock allocation largely from one stated-risk question, yet people do not answer it the same way twice: in a national US panel, 41% of households chose a different answer two years later, and in a laboratory retest a third of people moved two or more points on a 0-10 scale after six months. Seven large language models from five providers gave one-turn allocation advice for 800 real household profiles in which only the risk answer changed. The recommended stock share moved by 10 to 16 percentage points on average, and by 24 to 35 when the answer changed, against 0.6 to 4.2 points for the same prompt asked twice; in the laboratory retest the rating alone moved advice by 11 to 18 points. Without any note, the models respond to the answer about as strongly as when told that it is very reliable (less so for the two Claude models). If that instructed response is how each model maps attitude to advice, discounting the answer for its measured reliability, as classical test theory prescribes, would cut the swings by a factor of 2.4 to 3.3. The swing is largest for clients under 40. A note that the answer is noisy steadies some models, but shifts their weight to the client's age and pulls cautious clients towards a generic middle allocation: clients unwilling to take any risk are advised 22% stocks instead of 4%. Three extra money questions reduce the swing for some models, with no statistically detectable change relative to how much advice differs across people. In a scripted test, one clarifying question removes nearly all of the swing from an answer the client then corrects (33.5 points to 1.9 on average) while keeping the response to a change the client confirms. We argue that same-person retest audits should be a standard check for AI advisers, and that what to do with an unreliable answer is a question of client autonomy as well as of statistics.
• Abstract（参考訳）: AIの金融アドバイザーは、クライアントの株式割当を、記載されたリスクのある質問から大きく設定したが、国民の41%が2年後に別の回答を選択し、実験室では、被験者の3分の1が6ヶ月後に0-10スケールで2つ以上のポイントを移動した。 5つの提供者による7つの大きな言語モデルは、800世帯のプロファイルに対して1ターンのアロケーションアドバイスを与え、リスク回答だけを変更した。 推奨株価は平均で10～16ポイント、回答が変わったときは24～35ポイント、同じプロンプトで0.6～4.2ポイント、実験室では11～18ポイント、それぞれ上昇した。 注記がなければ、モデルは非常に信頼性が高い(2つのクロードモデルではそうはならない)という回答に強く反応する。 その指示された応答が、各モデルがアドバイスに態度をマッピングする方法であり、古典的なテスト理論が規定しているように、測定された信頼性に対する答えを割引することで、スイングを2.4倍から3.3倍に削減する。 この変動は40歳未満の顧客にとって最大だ。 答えは騒々しいものだが、クライアントの年齢に重きを移し、慎重なクライアントを一般的な中間アロケーションへと引き寄せる: リスクを冒したくないクライアントは4%ではなく22%の株を推奨する。 3つの余分な金銭的な質問は、複数のモデルの揺らぎを減らし、人とのアドバイスの違いに対して統計的に検出可能な変化はない。 スクリプトテストでは、明確な質問が、クライアントが確認した変更に対する応答を維持しながら、クライアントが修正する(平均で33.5ポイントから1.9まで)回答から、ほとんどすべてのスイングを削除します。 我々は、同一人物の再テスト監査がAIアドバイザーの標準チェックであるべきであり、信頼できない回答で何をすべきかは、クライアントの自主性と統計の問題である、と論じている。

関連論文リスト

• Beyond the Sycophancy Score: How Task, Model, and Pressure Shape LLM Yielding [3.717970205299471]
  大規模言語モデル(LLM)は、ユーザーが押し戻されると、正しい回答を放棄したり、ユーザの位置を支持したりすることが多い。 10の配置から103,939グレードの応答で生成する条件について検討する。 主な要因は、モデルがユーザの要求を検証するのにどれほどの費用がかかるか、そして、トレーニングされたガードレールがそれをカバーしているかどうかである。
  論文  参考訳（メタデータ） (2026-09-30T05:27:34Z)
• How AI Models Manage Epistemic Authority: A Taxonomy and Comparative Analysis of Responses to User Disagreement [0.573978744524696]
  ユーザが回答に挑戦すると、モデルがどのように権威を管理し、ここでは知識、能力、あるいは助言する権利を主張する。 我々は,14モデルから2,310個の制御された課題シナリオと32,340個の応答のデータセットを構築した。 反応の85%でユーザを検証するが、元のクレームは65%で維持する。
  論文  参考訳（メタデータ） (2026-09-07T15:47:29Z)
• Evaluating Confidence-Gated Retrieval with Matched Trajectory Replay [3.888537003098864]
  信頼と行動のマッピングを比較するための制御プロトコルであるMatched trajectory replayを提案する。 マルチホップ質問応答システムにおいて, 生の言語的信頼度とポストホック等調音校正度を比較した。 全体的な精度は、HotpotQAでは最大15ポイント向上するが、MuSiQueでは最大17ポイント低下する。
  論文  参考訳（メタデータ） (2026-08-27T09:15:33Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Is That Your Final Answer? Test-Time Scaling Improves Selective Question Answering [33.2921120857455]
  推論時における計算予算の増加は、モデルがより正確な質問に答えるのに役立つことを示す。 次に,非ゼロレベルの応答リスクの設定を考慮し,評価中のゼロリスク応答の現在のパラダイムを拡張した。
  論文  参考訳（メタデータ） (2025-02-19T18:58:31Z)
• Rethinking LLM Uncertainty: A Multi-Agent Approach to Estimating Black-Box Model Uncertainty [47.95943057892318]
  ブラックボックスLSMの不確実性の定量化は、信頼性の高い応答とスケーラブルな監視に不可欠である。 本研究では,不確実性推定にマルチエージェント相互作用を用いた新しい理論的基礎手法であるDiverseAgentEntropyを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T18:52:40Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。