論文の概要: Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents

• arxiv url: http://arxiv.org/abs/2608.06108v1
• Date: Thu, 06 Aug 2026 14:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.932757
• Title: Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents
• Title（参考訳）: 大規模言語モデルにおける投資論理の評価:個人化ファイナンシャルエージェントに向けた実世界ベンチマーク
• Abstract要約: 実世界の投資家151名による201,247の文書化決定を含むプロセスネイティブベンチマークであるtextscInvestLogicBenchを紹介した。 P$rightarrow$E$rightarrow$R$rightarrow$D$rightarrow$Oは、バージョン付きプロファイル、時間的前処理、検査可能な検索、決定台帳、再生可能な結果を必要とするデータシステムインターフェースであるべきだ、と我々は主張する。
• 参考スコア（独自算出の注目度）: 4.733610230384641
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Investment competence is inherently personalized: the same market evidence can justify different actions for investors with different goals, horizons, portfolios, and risk boundaries. Yet financial LLMs are evaluated either by static question answering or by terminal profit and loss. The former omits agency; the latter cannot reveal whether a profitable action was grounded, profile-consistent, or merely lucky. We ask whether the community is using the wrong ruler for consequential agents. We introduce \textsc{InvestLogicBench}, a process-native benchmark containing 201,247 documented decisions from 151 real-world investors. Each episode instantiates a \textbf{P$\rightarrow$E$\rightarrow$R$\rightarrow$D$\rightarrow$O} trace: investor \textit{Profile}, observable market \textit{Events}, investment \textit{Reasoning}, executable \textit{Decision}, and delayed \textit{Outcome}. The release includes profile construction, point-in-time event binding, structured logic, horizons, outcomes, and post-mortems, and supports comprehension, profile-conditioned generation, and end-to-end replay. Across four leading LLMs, logical plausibility remains near 4/5 while event grounding is only 0.8--2.8/5; return and process quality also disagree. These results expose polished but weakly grounded reasoning that outcome-only evaluation hides. We further argue that P$\rightarrow$E$\rightarrow$R$\rightarrow$D$\rightarrow$O should be a data-system interface, requiring versioned profiles, temporal provenance, inspectable retrieval, decision ledgers, and replayable outcomes. Finance is our stress test for a broader class of personalized, consequential agents.
• Abstract（参考訳）: 投資能力は本質的にパーソナライズされ、同じ市場証拠は、異なる目標、地平線、ポートフォリオ、リスク境界を持つ投資家に対して異なるアクションを正当化することができる。 しかし、金融LLMは静的質問応答か、端末利益と損失によって評価される。 後者は利益を上げている行動が根拠であったか、プロフィールに一貫性があったか、単に運が良かったかを明らかにすることはできない。 我々は、コミュニティが従属エージェントに間違った支配者を使っているかどうかを問う。 我々は,実世界の投資家151名による201,247の文書化決定を含むプロセスネイティブベンチマークである‘textsc{InvestLogicBench} を紹介した。 各エピソードは、 a \textbf{P$\rightarrow$E$\rightarrow$R$\rightarrow$D$\rightarrow$O} trace: investor \textit{Profile}, observable market \textit{Events}, investment \textit{Reasoning}, viable \textit{Decision}, delay \textit{Outcome} をインスタンス化する。 このリリースには、プロファイル構成、ポイントインタイムイベントバインディング、構造化ロジック、水平線、結果、そしてポストモーテムが含まれ、理解、プロファイル条件付き生成、エンドツーエンドのリプレイをサポートする。 4つの主要なLCM全体では、論理的確率は4/5に近づき、イベントグラウンドは0.8--2.8/5に過ぎず、リターンとプロセスの品質も相容れない。 これらの結果は、結果のみの評価が隠されるという理由から、洗練されているが弱く根拠づけられている。 さらに、P$\rightarrow$E$\rightarrow$R$\rightarrow$D$\rightarrow$Oは、バージョン付きプロファイル、時間的前処理、検査可能な検索、決定台帳、再生可能な結果を必要とするデータシステムインターフェースであるべきだと主張する。 金融は、パーソナライズされた、従順なエージェントの幅広いクラスに対するストレステストです。

関連論文リスト

• The Illusion of $\ extit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs [17.84394262896856]
  $textbfWhatIfBench$は、オープンドメイン、オープンフォーム、ロングホライゾンの因果推論のための診断ベンチマークである。 $textbfPRISM$は、イベント、状態、メカニズムのRe Response-Derived Semantic Causal Graphである。
  論文  参考訳（メタデータ） (2026-08-28T05:49:19Z)
• Your AI, On a Dial: Controlling Investment Bias in LLMs with a Single Neuron [76.4407829130164]
  モデル全体の投資姿勢が、特定の方向と強さに調整できるかどうかを検討する。 我々は、単一ニューロンに対する推測時間介入である投資バイアスダイヤルを導入する。 このダイヤルは、プロンプトやモデルパラメータを変更することなく、投資姿勢の単調な変化を生じさせる。
  論文  参考訳（メタデータ） (2026-08-24T06:33:02Z)
• OpenPM: Auditable Point-in-Time Evaluation for LLM Portfolio-Management Agents [39.82139666997448]
  ポートフォリオ管理エージェントのための監査可能なポイントインタイム評価フレームワークであるOpenPMを提案する。 OpenPMでは、エージェントが5分間隔で市場データを使用して、S&P 500宇宙上の100万ドルの長編書籍を管理する。 各ランは、汚染証明書、コスト感受性曲線、制約順守レポートを含む監査アーティファクトを生成する。
  論文  参考訳（メタデータ） (2026-08-06T16:04:44Z)
• YUKTI: From Natural-Language Situations to Robust, Verifiable Decisions An Uncertainty-Typed Proposition IR, Assumption-Robust Pareto Frontiers, and a Regret Certificate [0.0]
  我々は,YUKTIが各ステージを正確に,非線形,あるいは進化的解法にルートすることを示す。 我々は,決定的後悔の正確な要因として境界作成rhoを証明し,監査可能なトレーサビリティを付加し,ベンチマークに忠実なデータ基盤を合成する。 規制上の不特定の下では、堅牢な妥協が平均とテールの後悔を90%以上削減し、単純なポイントプランと比較し、規制された商業上の決定では、合法的な行動空間内で最適化し、ユーロの下落価格を下げる。
  論文  参考訳（メタデータ） (2026-06-22T09:29:13Z)
• From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock Markets [34.699961175708815]
  KTD-Finは、エンドツーエンドの株式市場トレーディングベンチマークである。 歴史的市場記憶と投資決定を分離する。 Barraスタイルのパフォーマンス属性フレームワークが組み込まれている。
  論文  参考訳（メタデータ） (2026-05-27T11:57:10Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• ValueBlindBench: Agreement-Gated Stress Testing of LLM-Judged Investment Rationales Before Returns Are Observable [1.8689252029357564]
  本稿では,事前登録された合意付きストレステストプロトコルであるValueBlindBenchを紹介する。 ValueBlindBench は LLM-judged Investment-rationale のクレームがパブリッシュ可能、資格あり、無効かを決定する。
  論文  参考訳（メタデータ） (2026-04-28T05:04:20Z)
• $\texttt{YC-Bench}$: Benchmarking AI Agents for Long-Term Planning and Consistent Execution [38.30265058791818]
  このベンチマークは、エージェントがシミュレーションされたスタートアップを数百のターンにまたがる1年間の地平線上で実行することで、能力を評価する。 プロプライエタリとオープンソースの両方で、それぞれ3つのシードに対して12のモデルを評価します。 クレード・オプス4.6は1.27Mで平均的なファイナルファンドを達成し、GLM-5は1.21Mで11$times$低い推論コストを達成した。
  論文  参考訳（メタデータ） (2026-04-01T17:52:19Z)
• ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
  ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。 ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
  論文  参考訳（メタデータ） (2025-12-01T09:44:31Z)
• SABER: Small Actions, Big Errors -- Safeguarding Mutating Steps in LLM Agents [52.20768003832476]
  我々は$$-Bench (Airline/Retail) および SWE-Bench Verified 上での実行トレースを分析する。 成功を失敗に戻すための、先進的な逸脱、最初期の行動、レベル分岐を形式化する。 モデルに依存しない,勾配のない,テスト時のセーフガードである cm を導入します。
  論文  参考訳（メタデータ） (2025-11-26T01:28:22Z)
• FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering [57.43420753842626]
  FinLFQAは、複雑な財務問題に対する長文の回答を生成するための大規模言語モデルの能力を評価するために設計されたベンチマークである。 回答品質と属性品質の両方をカバーする自動評価フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-10-07T20:06:15Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• Your AI, Not Your View: The Bias of LLMs in Investment Analysis [62.388554963415906]
  金融において、Large Language Models (LLMs) は、事前訓練されたパラメトリック知識とリアルタイム市場データとの相違から生じる、頻繁な知識紛争に直面している。 これらの対立は、モデル固有のバイアスが制度的目的と誤認される現実世界の投資サービスにおいて特に問題となる。 本研究では,このような紛争シナリオにおける創発的行動を調べるための実験的枠組みを提案し,投資分析におけるバイアスの定量的分析を行う。
  論文  参考訳（メタデータ） (2025-07-28T16:09:38Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [71.7892165868749]
  LLM(Commercial Large Language Model) APIは基本的な信頼の問題を生み出します。 ユーザーは特定のモデルに課金するが、プロバイダが忠実に提供できることを保証することはない。 我々は,このモデル置換問題を定式化し,現実的な逆条件下での検出方法を評価する。 我々は,信頼された実行環境(TEE)を実用的で堅牢なソリューションとして使用し,評価する。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• FinTSB: A Comprehensive and Practical Benchmark for Financial Time Series Forecasting [58.70072722290475]
  ファイナンシャル・タイム・シリーズ(FinTS)は、人間の脳を増強した意思決定の行動を記録する。 FinTSBは金融時系列予測のための総合的で実用的なベンチマークである。
  論文  参考訳（メタデータ） (2025-02-26T05:19:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。