論文の概要: Credit Cards, Confusion, Computation, and Consequences: What Can We Uncover About Language Model Reasoning?

• arxiv url: http://arxiv.org/abs/2607.26952v1
• Date: Wed, 29 Jul 2026 14:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.699706
• Title: Credit Cards, Confusion, Computation, and Consequences: What Can We Uncover About Language Model Reasoning?
• Title（参考訳）: クレジットカード、コンフュージョン、計算、そして結果:言語モデル推論について何が分かるのか?
• Authors: Arnav Hiray, Agam Shah, Caleb Lu, Meghaj Tarte, Harsit Mittal, Sudheer Chava,
• Abstract要約: 我々は、実際のクレジットカード契約に基づく数値推論のための最初の金融リテラシーベンチマークであるCreditCardQAを紹介する。 このデータセットには1,800の質問が含まれている。 我々は、Chain-of-Thought (CoT) と Program-of-Thought (PoT) のプロンプトにより、幅広い言語と推論モデルを評価する。
• 参考スコア（独自算出の注目度）: 5.08084484463297
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce CreditCardQA, the first financial literacy benchmark for numerical reasoning derived from real credit card agreements. The dataset contains 1,800 questions, including first-person variants that reflect how consumers naturally ask about fees, interest, and payments. We evaluate a range of large language and reasoning models under Chain-of-Thought (CoT) and Program-of-Thought (PoT) prompting. Overall, PoT yields consistent performance gains, particularly for models with weaker baseline reasoning, and narrows gaps between open- and closed-source systems. Through error analysis, we show that failures arise less from arithmetic and more from misapplied financial rules, missed conditions, and misunderstandings of contractual terms. We further analyze question difficulty and find that comparisons, conditional logic, and monetary constraints are especially challenging. We also find that errors often arise in edge cases such as late-payment penalties or small-balance scenarios that are more likely to affect lower-income or financially vulnerable individuals.
• Abstract（参考訳）: 我々は、実際のクレジットカード契約に基づく数値推論のための最初の金融リテラシーベンチマークであるCreditCardQAを紹介する。 このデータセットには1,800の質問が含まれている。 我々は、Chain-of-Thought (CoT) と Program-of-Thought (PoT) のプロンプトにより、幅広い言語と推論モデルを評価する。 全体としてPoTは、特にベースライン推論が弱いモデルでは、一貫したパフォーマンス向上をもたらし、オープンソースシステムとクローズドソースシステムの間のギャップを狭める。 エラー解析により、失敗は算術的ではなく、不正な財務ルールや条件の欠落、契約条件の誤解から生じることを示す。 さらに、質問の難しさを分析し、比較、条件論理、および金銭的制約が特に困難であることを確かめる。 また、低所得者や経済的に脆弱な個人に影響を及ぼしがちな、レイトペイメントのペナルティや小さなバランスのシナリオといったエッジケースでエラーが発生することもわかりました。

関連論文リスト

• Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection [0.2864713389096699]
  金融異常検出におけるクラス不均衡を克服する多目的強化学習フレームワークを提案する。 提案手法は, 大規模言語モデルで符号化された, 不均一なトランザクション特徴を結合的な自然言語モデルに合成する。 これは、スカラー化ベースラインよりも優れたマイノリティクラスリコールを実現し、金融異常発見のための取引境界操作摩擦の代替となる。
  論文  参考訳（メタデータ） (2026-07-10T17:39:00Z)
• From Abstract to Contextual: What LLMs Still Cannot Do in Mathematics [79.81905350372067]
  我々は文脈的数学的推論を通してギャップを研究する。 AIMEとMATH-500の問題を2つのコンテキスト設定に再利用するベンチマークであるContextMATHを紹介する。 オープンソースモデルはSGとCSで13、34ポイント減少し、プロプライエタリモデルは13、20ポイント減少している。
  論文  参考訳（メタデータ） (2026-01-30T14:56:04Z)
• Bridging the Arithmetic Gap: The Cognitive Complexity Benchmark and Financial-PoT for Robust Financial Reasoning [11.522192050185568]
  大規模言語モデルは,「認知的幻覚」と「認知的崩壊」というシステム的失敗モードに悩まされる 実世界95の中国Aシェア年次レポートから構築したデータセットをベースとした,堅牢な評価フレームワークであるCognitive Complexity Benchmark(CCB)を紹介する。 本稿では,これらの障害に対処するための反復的デュアル・パース・ファイナンシャル・PoTフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T01:33:33Z)
• Reasoning or Overthinking: Evaluating Large Language Models on Financial Sentiment Analysis [1.3812010983144802]
  我々は,様々な大規模言語モデル (LLM) が経済的文脈における人間ラベルの感情とどのように一致しているかを評価する。 本研究は, モデル設計のプロンプトや本質的設計による推論が, この課題における性能を向上させるものではないことを示唆している。 驚くべきことに、モデルと手法の最も正確かつ人間に整合した組み合わせは、CoT(Chain-of-Thought)を推進しないGPT-4oであった。
  論文  参考訳（メタデータ） (2025-06-05T02:47:23Z)
• Understanding Financial Reasoning in AI: A Multimodal Benchmark and Error Learning Approach [6.911426601915051]
  本稿では、金融特化文脈におけるAIモデル、特に大規模言語とマルチモーダルモデルがどの程度の理由を持つかを評価するために設計された新しいベンチマークを紹介する。 本稿では,過去のモデル誤りやフィードバックを利用して,微調整を必要とせず,推論をガイドする誤り認識学習フレームワークを提案する。 この結果は、視覚的理解と数学的論理学における永続的な課題を強調し、金融AIシステムにおける自己反射的推論の可能性を実証している。
  論文  参考訳（メタデータ） (2025-04-22T07:25:03Z)
• SCoRE: Benchmarking Long-Chain Reasoning in Commonsense Scenarios [33.72114830484246]
  SCoRE(Scenario-based Commonsense Reasoning Evaluation)は、エンティティ、リレーション、論理ルールのシナリオスキーマからマルチホップ質問を合成するベンチマークである。 SCoREには100kのバイリンガル(中国語と英語の)複数選択質問が含まれており、推論チェーンは2-11ホップにまたがり、様々な難易度にグループ化されている。
  論文  参考訳（メタデータ） (2025-03-08T13:40:10Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• Empowering Many, Biasing a Few: Generalist Credit Scoring through Large Language Models [53.620827459684094]
  大規模言語モデル(LLM)は、複数のタスクにまたがる強力な一般化能力を持つ信用スコアリングタスクにおいて大きな可能性を秘めている。 クレジットスコアリングのための LLM を探索する,初のオープンソース包括的フレームワークを提案する。 そこで我々は,各種金融リスク評価タスクの煩雑な要求に合わせて,指導チューニングによる最初の信用・リスク評価大言語モデル(CALM)を提案する。
  論文  参考訳（メタデータ） (2023-10-01T03:50:34Z)
• From Checking to Inference: Actual Causality Computations as Optimization Problems [79.87179017975235]
  本稿では、最適化問題として二元非巡回モデルよりも、因果推論の異なる概念を定式化するための新しいアプローチを提案する。 8000ドル以上の変数を持つモデルを用いて,MaxSAT が ILP を上回り,数秒単位でチェック処理を行う場合が多い。
  論文  参考訳（メタデータ） (2020-06-05T10:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。