論文の概要: FinInteract: Benchmarking Clarification and Intent Integration in Ambiguous Financial Question Answering

• arxiv url: http://arxiv.org/abs/2609.24002v1
• Date: Mon, 21 Sep 2026 02:06:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.961727
• Title: FinInteract: Benchmarking Clarification and Intent Integration in Ambiguous Financial Question Answering
• Title（参考訳）: FinInteract: あいまいな財務質問応答における明確化とインテント統合のベンチマーク
• Abstract要約: 有能なエージェントは、もっともらしいが意図しない読みにコミットするのではなく、あいまいさを認識して尋ねるべきである。 既存の金融ベンチマークでは、問題ごとに1つの金の答えがあいまいさを解決するエージェントを分離できないため、これを測定できない。 FinInteractは173インスタンスのベンチマークで、各質問とデフォルトと意図した解釈をペアリングします。
• 参考スコア（独自算出の注目度）: 8.790693727414414
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model agents increasingly answer financial questions by searching regulatory filings. Such questions are often deceptively under-specified: Meta Platforms' "operating income" is $46.75B consolidated but $62.87B for the Family of Apps segment, and each reading is exactly verifiable against the filing. A capable agent should recognize the ambiguity and ask, rather than commit to a plausible but unintended reading. Existing financial benchmarks cannot measure this, because one gold answer per question cannot separate agents that resolve the ambiguity from those that guess the common reading, a blind spot we call the single-gold illusion. We release FinInteract, a bilingual (English/Chinese) benchmark of 173 instances that pairs each question with a default and an intended interpretation across a five-category ambiguity taxonomy, and grades whether an agent elicits the right clarification and then integrates it. Re-grading identical outputs against the default rather than the intended reading inflates GPT-4o's accuracy by 3.1 times, confirming the illusion. Beyond it, we find that models answer above 90% once the interpretation is supplied but at most 28.9% when they must elicit it themselves, that targeting is uneven across a taxonomy well powered for entity scope and metric definition and exploratory elsewhere, and that conditioning on the ambiguity category improves resolution at both inference and training time.
• Abstract（参考訳）: 大規模な言語モデルエージェントは、規制書類を検索することによって、金融上の問題に回答する傾向にある。 Meta Platforms の "operating income" は46.75B に統合されているが、Family of Apps のセグメントは62.87B であり、それぞれの読み取りは申請書に対して正確に検証されている。 有能なエージェントは、もっともらしいが意図しない読みにコミットするのではなく、あいまいさを認識して尋ねるべきである。 既存の金融ベンチマークでは、この問題を測ることはできない。なぜなら、1問1つの金の答えは、曖昧さを解決するエージェントと、一般的な読み方を推測するエージェントを区別することはできないからだ。 FinInteractは173のインスタンスのバイリンガル(英語/中国語)ベンチマークで、各質問をデフォルトと組み合わせ、5つのカテゴリのあいまいさの分類で解釈し、エージェントが正しい明確化を導き、それを統合するかどうかを評価します。 GPT-4oの精度を3.1倍に向上させ、この錯覚を裏付ける。 さらに、解釈が提供された時点で90%を超えるが、少なくとも28.9%は、自分たちで引き起こさなければならない場合、ターゲットは、エンティティスコープとメートル法定義と他所での探索によく利用される分類学で不均一であり、あいまいさカテゴリーの条件付けは推論とトレーニング時間の両方における解決を改善する。

関連論文リスト

• PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
  マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。 本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。 PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
  論文  参考訳（メタデータ） (2026-09-07T19:21:49Z)
• Autoresearch for Marketplace Catalogs: From Legacy Forms to AI-Native Matching [9.919270135258108]
  両面のサービスマーケットプレースは、決定論的リクエストフォームの取り込みから、AIネイティブな確率的マッチングへと移行している。 固定形フィールドよりも推論意図に頼れば、これらのプラットフォームはプロバイダ側の選好分類を再生せざるを得ない。 我々は、この分類を一度に生成する自動検索ループを提示し、2026年4月から米国の大手消費者サービス市場において、132の職業にまたがって生産されている。
  論文  参考訳（メタデータ） (2026-08-31T19:18:07Z)
• Diversity is Not Ambiguity: Toward Accurate and Efficient Ambiguity Detection for Open-Domain QA [20.772897408550275]
  本稿では,論理的衝突によるあいまいさを検出するフレームワークARCHIVEを提案する。 ARCHIVEは、表面検出可能なケースのための軽量の早期出力エンコーダとコンフリクト推論モジュールを組み合わせる。 実験の結果、ARCHIVEはライバルより優れており、F1アンブは最大10.4%、F1アンブは最大21.6%向上している。
  論文  参考訳（メタデータ） (2026-08-04T06:13:41Z)
• Collusion with Competitive Marginals: Price-Level Audits Are Blind by Construction [6.3803164500885705]
  共謀に関する実証研究は、データの1つに疑問を投げかけている。 いずれにせよ、これは利益がある陰謀によって「ノー」と答えられることを示す。 未説明入札成分の連立分布にのみ結合する入札エージェントを考える。 単一のエージェントの価格や入札履歴は、コモノトニティまで全ての結合強度に対して、その偽陽性率に完全に等しい力を持つ。
  論文  参考訳（メタデータ） (2026-07-29T01:39:13Z)
• Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
  暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。 Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。 SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
  論文  参考訳（メタデータ） (2025-09-25T14:05:55Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• DSC-IITISM at FinCausal 2021: Combining POS tagging with Attention-based Contextual Representations for Identifying Causal Relationships in Financial Documents [0.0]
  因果検出は、情報検索、イベント予測、質問応答、財務分析、市場調査に応用されている。 本研究では,変換器を用いて財務文書の因果関係を同定し,抽出する手法について検討する。 最適手法は, ブラインドテストにおけるF1スコア0.9551, Exact Matchスコア0.8777を達成する。
  論文  参考訳（メタデータ） (2021-10-31T13:09:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。