論文の概要: The Price of Agreement: Measuring LLM Sycophancy in Agentic Financial Applications

• arxiv url: http://arxiv.org/abs/2604.24668v1
• Date: Mon, 27 Apr 2026 16:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.167652
• Title: The Price of Agreement: Measuring LLM Sycophancy in Agentic Financial Applications
• Title（参考訳）: 合意の価格:エージェント・ファイナンシャル・アプリケーションにおけるLCMシクロファンシーの測定
• Authors: Zhenyu Zhao, Aparna Balagopalan, Adi Agrawal, Dilshoda Yergasheva, Waseem Alshikh, Daniel M. Bikel,
• Abstract要約: エージェント的金融業務においてLLMが提示する薬効評価に焦点をあてる。 まず, ユーザの反論や参照応答に対する矛盾に対して, モデルの性能低下は緩やかにしか見られません。 第2に,参照応答に矛盾するユーザの嗜好情報を用いて,梅毒検査のための一連のタスクを導入し,そのような入力の有無でほとんどのモデルがフェールすることを確認した。
• 参考スコア（独自算出の注目度）: 5.019664088524701
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given the increased use of LLMs in financial systems today, it becomes important to evaluate the safety and robustness of such systems. One failure mode that LLMs frequently display in general domain settings is that of sycophancy. That is, models prioritize agreement with expressed user beliefs over correctness, leading to decreased accuracy and trust. In this work, we focus on evaluating sycophancy that LLMs display in agentic financial tasks. Our findings are three-fold: first, we find the models show only low to modest drops in performance in the face of user rebuttals or contradictions to the reference answer, which distinguishes sycophancy that models display in financial agentic settings from findings in prior work. Second, we introduce a suite of tasks to test for sycophancy by user preference information that contradicts the reference answer and find that most models fail in the presence of such inputs. Lastly, we benchmark different modes of recovery such as input filtering with a pretrained LLM.
• Abstract（参考訳）: 現在,金融システムにおけるLLMの利用が増加していることを踏まえ,そのようなシステムの安全性と堅牢性を評価することが重要である。 LLMが一般的なドメイン設定で頻繁に表示するフェールモードの1つは、梅毒のモードである。 すなわち、モデルは、正確さよりも表現されたユーザ信念との合意を優先し、正確さと信頼を低下させます。 本研究は, LLMがエージェント的財務業務で提示する薬効の評価に焦点をあてる。 調査の結果は3つにまとめられた: まず, 利用者の反感や基準回答に対する矛盾に対して, モデルが低～中程度の低下しか示さないことを見出した。 第2に,参照応答に矛盾するユーザの嗜好情報を用いて,梅毒検査のための一連のタスクを導入し,そのような入力の有無でほとんどのモデルがフェールすることを確認した。 最後に、予め訓練されたLLMを用いた入力フィルタリングなど、さまざまな回復モードをベンチマークする。

関連論文リスト

• Atropos: Improving Cost-Benefit Trade-off of LLM-based Agents under Self-Consistency with Early Termination and Model Hotswap [4.950224736359097]
  アトロポスは予測的な早期終了分析とホットスワップ技術である。 自己整合性(self-consistency)を利用するLCMベースのエージェントのコスト対効果のトレードオフを改善することを目的としている。 ATROPOSは閉じたLCMの性能の74.35%を達成し、コストは23.9%に過ぎなかった。
  論文  参考訳（メタデータ） (2026-04-16T14:39:36Z)
• Interpreting LLMs as Credit Risk Classifiers: Do Their Feature Explanations Align with Classical ML? [4.0057196015831495]
  大言語モデル(LLM)は、ゼロショットプロンプトによる分類タスクのための古典的な機械学習モデルの柔軟な代替品として、ますます研究されている。 本研究では,ゼロショットLPMに基づく分類器と,現実のローンデフォルト予測タスクにおいて,最先端の勾配ブースティングモデルであるLightGBMとを体系的に比較する。 我々は,それらの予測性能を評価し,SHAPを用いて特徴属性を分析し,LLM生成自己説明の信頼性を評価する。
  論文  参考訳（メタデータ） (2025-10-29T17:05:00Z)
• Profit Mirage: Revisiting Information Leakage in LLM-based Financial Agents [40.636918662488505]
  LLMベースの金融エージェントは、人間の専門家のように取引できる能力に広く興奮している。 バックテストされたリターンのダズラは、モデルの知識ウィンドウが終了すると蒸発します。 本稿では,LLMをベースとしたエージェントに対して,暗記された結果ではなく因果関係の学習を強制するために,反ファクト的摂動を適用したフレームワークFactFinを紹介する。
  論文  参考訳（メタデータ） (2025-10-09T08:13:35Z)
• Your AI, Not Your View: The Bias of LLMs in Investment Analysis [62.388554963415906]
  金融において、Large Language Models (LLMs) は、事前訓練されたパラメトリック知識とリアルタイム市場データとの相違から生じる、頻繁な知識紛争に直面している。 これらの対立は、モデル固有のバイアスが制度的目的と誤認される現実世界の投資サービスにおいて特に問題となる。 本研究では,このような紛争シナリオにおける創発的行動を調べるための実験的枠組みを提案し,投資分析におけるバイアスの定量的分析を行う。
  論文  参考訳（メタデータ） (2025-07-28T16:09:38Z)
• One Token to Fool LLM-as-a-Judge [52.45386385722788]
  大規模言語モデル(LLM)は、自動化された審査員としてますます信頼され、評価を支援し、他のモデルを訓練するための報酬信号を提供する。 生成的報酬モデルは、ハッキングに対して体系的に影響を受けやすい。
  論文  参考訳（メタデータ） (2025-07-11T17:55:22Z)
• Standard Benchmarks Fail - Auditing LLM Agents in Finance Must Prioritize Risk [31.43947127076459]
  標準ベンチマークでは、大規模言語モデル(LLM)エージェントが金融面でどれだけうまく機能するかを定めているが、デプロイの安全性についてはほとんど語っていない。 我々は、精度の指標とリターンベースのスコアが、幻覚的な事実、古いデータ、敵の迅速な操作などの脆弱性を見渡すことで、信頼性の錯覚をもたらすと論じている。
  論文  参考訳（メタデータ） (2025-02-21T12:56:15Z)
• From Yes-Men to Truth-Tellers: Addressing Sycophancy in Large Language Models with Pinpoint Tuning [91.79567270986901]
  大規模言語モデル(LLM)は、ユーザプロンプトへの順守を、妥当な応答よりも優先する傾向がある。 近年の研究では、教師付き微調整(SFT)を用いて、梅毒問題を軽減することが提案されている。 そこで本研究では,特定の目的のために関心のあるモジュールを調整した新しいピンポイントチューニング(SPT)を提案する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:37Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。