論文の概要: Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries

• arxiv url: http://arxiv.org/abs/2610.38631v1
• Date: Wed, 28 Oct 2026 10:48:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.991497
• Title: Right Numbers, Wrong Questions: Evaluating LLMs on Underspecified Financial Queries
• Title（参考訳）: 正しい数字、間違った質問:未特定の金融取引におけるLLMの評価
• Abstract要約: 金融アシスタントは、事実に聞こえる質問に答えるが、ユーザーが何を残しているかによって異なる。 これらを無視したアシスタントは、そのデータから実際の番号で答えることができる。 インドでは、商品のバリエーションや税制が正式に定義されている。
• 参考スコア（独自算出の注目度）: 4.0831821256838134
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial assistants answer questions that sound factual but depend on what the user leaves unsaid: what a data figure measures, which product variant is meant, and the investor's situation and the rules that apply. An assistant that ignores these can still answer with a real number from its data, one that answers a different question. We call this frame collapse. We study it in Indian mutual funds, where product variants and tax rules are formally defined, so the correct answer can be computed for every reading. One study tests each challenge. Given an ambiguously labelled figure, models used it, often under the user's label. Given every alternative labelled, they listed them all, but the layout decided which came first. Missing a fact about the investor, weaker agents assumed a default or an outdated tax rule; requiring the fact did not guarantee its use. Because such answers match their data, checks against the data pass them. An AI judge caught mislabelled figures only when told what each field means, and still passed answers that silently chose another reading. We show how these failures arise, not how often, and propose controls for financial assistants.
• Abstract（参考訳）: ファイナンシャルアシスタントは、事実に聞こえるが、ユーザーが何を残しているかによっては答える:データフィギュアは、どの製品がどのような意味を持つか、投資家の状況と適用されるルールである。 これらを無視したアシスタントは、そのデータから実際の番号で答えることができる。 私たちはこのフレームを崩壊と呼ぶ。 インドでは、商品の変種と税制が正式に定義されているため、すべての読み出しに対して正しい回答を計算できる。 1つの研究はそれぞれの課題をテストする。 明確にラベル付けされた図式が与えられたモデルでは、しばしばユーザのラベルの下で使用される。 ラベル付けされた代替品は全部リストに載ったが、レイアウトはどちらが先かを決めていた。 投資家に関する事実を見逃し、弱いエージェントはデフォルトや時代遅れの税法を仮定した。 このような答えは彼らのデータと一致するので、データに対するチェックが通過します。 AIの裁判官は、各分野の意味を語るときにのみ、誤認された数字を捉えました。 これらの失敗がいかに頻繁に起こるかを示すとともに、金融アシスタントの制御を提案する。

関連論文リスト

• What Does an Ontology Catch? Curated, LLM-Generated and Data-Derived Ontologies as Checkers of LLM Agents over Knowledge Graphs [0.0]
  チェッカーはエラーを見逃し、正解をフラグ付けし、エージェントを"修正"にプッシュする。 それぞれのソースが偽のアラームに対してどのように取引されているか、公開として使用するキュレートされたスキーマが自身のデータと矛盾する可能性があること、ソースを組み合わせるか、エージェントに特定のフィードバックを与えるかを示す。
  論文  参考訳（メタデータ） (2026-10-27T18:27:45Z)
• LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents [33.307172326521176]
  我々は,各質問を実行可能な検証コードとして格納するライブベンチマークであるLiveSearchを紹介する。 問題は凍結され、金の答えはプロの財務データに対してプログラムを実行することで決定される。 一般的なウェブ検索では、6つの現代のツールコールモデルが70.9%から76.7%の精度で答えている。
  論文  参考訳（メタデータ） (2026-10-27T12:55:52Z)
• Sample, Mix, or Verify? Allocating Test-Time Compute under Imperfect Verifiers [0.2065179573803396]
  SPLITは正しい回答を提出する確率の正確な公式である。 実験的なベイズの公式に適合し、目に見えないタスクの予算計画に使用する。 パイロットをはるかに超える予測器として、SPLITは検証者が成功すると、パワーローフィッティングを破る。
  論文  参考訳（メタデータ） (2026-10-16T10:28:07Z)
• When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain [73.2163413577971]
  そこで本研究では,回答よりも質問するタイミングと,不明瞭な情報を回復する質問を行う方法という,2つのスキルを教えるレシピを提案する。 不斉あいまいさボーナスは、金のあいまいさラベルに基づいて署名された報酬を端末トークンに割り当て、いつ尋ねるかを案内する。 また、データ単位のチューニングなしでデータセット間で転送し、アウト・オブ・ディストリビューションのベンチマークでシングルターンのQAパフォーマンスを保存する。
  論文  参考訳（メタデータ） (2026-09-21T08:47:39Z)
• When Models Defer to Wrong Answers: A Robustness Audit of Source-Attributed Cues in Multiple-Choice QA [2.347309464574674]
  言語モデルは、他のソースが答えたことについてのクレームとともに、しばしば質問を受ける。 このような主張が複数の質問応答において解答を不安定化させるかどうかを検査する。 英語,ヒンディー語,ベンガル語,タミル語,テルグ語でMMLU-ProとIndicMMLU-Proの4つの命令追従モデルを評価する。
  論文  参考訳（メタデータ） (2026-09-08T15:57:24Z)
• OntoKG-EQ: A provenance-grounded, competency-question-governed knowledge graph for auditable analyst querying [0.0]
  新興株式市場のアナリストは同じ質問に答えている。 これらの答えは、再現、監査、信頼が難しいアドホックなスプレッドシートから得られます。 OntoKG-EQは、このようなクエリを再現可能で、エビデンスにリンクされ、時間的に明示され、有効で、検査可能な知識ベースのシステムである。
  論文  参考訳（メタデータ） (2026-09-08T15:11:38Z)
• FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect [69.8983512616053]
  大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。 これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。 FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
  論文  参考訳（メタデータ） (2026-09-07T12:56:44Z)
• UQ: Assessing Language Models on Unsolved Questions [149.46593270027697]
  当社では,Stack Exchangeから提供された500の難解で多様な質問を対象としたテストベッドであるUQを紹介します。 未解決の質問は、人間が答えを求めるときにしばしば難しく自然に発生する。 上位モデルは15%の質問でUQ検証をパスし、予備的な人間の検証はすでに正しい答えを同定している。
  論文  参考訳（メタデータ） (2025-08-25T01:07:59Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。