論文の概要: Agentic Knowledge Tracing: A Multi-Agent LLM Architecture for Stealth Assessment of Financial Literacy in Serious Games
- arxiv url: http://arxiv.org/abs/2606.25358v1
- Date: Wed, 24 Jun 2026 03:43:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.20742
- Title: Agentic Knowledge Tracing: A Multi-Agent LLM Architecture for Stealth Assessment of Financial Literacy in Serious Games
- Title（参考訳）: エージェント知識追跡:シリアスゲームにおける金融リテラシーの静的評価のためのマルチエージェントLLMアーキテクチャ
- Abstract要約: 本稿では,多エージェント大規模言語モデルアーキテクチャであるAgentic BKTパイプラインを提案する。
このパイプラインは、OECD/INFE金融リテラシーフレームワークに沿った、2Dプラットフォームからのイベントを4フェーズで処理する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Assessing financial literacy during gameplay without disrupting the learning experience remains a key challenge in serious games for education. We present the Agentic BKT pipeline, a multi-agent large language model architecture for stealth assessment of financial competencies from open-ended gameplay events. The pipeline processes events from a 2D platformer serious game aligned with the OECD/INFE financial literacy framework through four phases: (1) the game captures every player decision as a structured event log; (2) an LLM event classifier labels each action on a four-point rubric validated against three domain experts (Fleiss kappa = 0.624, substantial agreement); (3) four domain-specific agents specializing in risk mitigation, investing, spending, and credit management perform session-level reasoning over behavioral trajectories, feeding per-competency Bayesian Knowledge Tracing that estimates mastery within each domain; and (4) an expert judge agent synthesizes the domain-level estimates into an overall mastery score. Evaluated with 193 K-12 participants across 264 game sessions, the Agentic BKT pipeline yields mastery estimates significantly correlated with learning gain (r = 0.276, p = 0.0001) and post-test scores (r = 0.333, p < 0.0001) while showing no correlation with pre-test scores, providing both convergent and discriminant validity. The multi-agent approach approximately triples the predictive validity of a single-LLM baseline (r = 0.095, not significant) in this study, demonstrating that domain decomposition and session-level reasoning play a central role in capturing the multidimensional nature of financial literacy from gameplay
- Abstract（参考訳）: 学習体験を損なうことなく、ゲームプレイ中の金銭的リテラシーを評価することは、教育の真剣なゲームにおいて重要な課題である。
本稿では,Agentic BKTパイプラインを提案する。Agentic BKTパイプラインは,オープンエンドゲームプレイイベントの財務能力のステルス評価を行う多エージェント大規模言語モデルアーキテクチャである。
パイプラインは、(1)ゲームが構造化されたイベントログとしてすべてのプレイヤー決定をキャプチャする、(2)LLMイベント分類器が3つのドメイン専門家に対して検証された4ポイントのルーブリック上で各アクションをラベル付けする(Fleiss kappa = 0.624、実質的な合意)、(3)リスク軽減、投資、投資、信用管理に特化した4つのドメイン固有エージェントが、行動軌跡に関するセッションレベル推論を行い、能力ごとのベイズ的知識を抽出し、(4)専門家判断エージェントが各ドメイン内の熟達を推定する。
エージェントBKTパイプラインは264のゲームセッションで193人のK-12参加者から評価され、学習利得(r = 0.276, p = 0.0001)とポストテストスコア(r = 0.333, p < 0.0001)とに有意な相関が得られた。
マルチエージェントアプローチは, 単一LLMベースライン(r = 0.095, 重要ではない)の予測妥当性をおよそ3倍にし, ドメイン分解とセッションレベルの推論が, ゲームプレイから金融リテラシーの多次元的性質を捉える上で, 中心的な役割を果たすことを示した。
関連論文リスト
- Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems [103.90831279037094]
LLMベースのマルチエージェントトレーディングシステムは、研究プロトタイプから実際の資産を管理するライブデプロイメントへと急速に移行している。
破損した信号は最終決定に伝播し、実現された財政損失に変換される。
本稿では,金融分野において,敵対的信号がマルチエージェント取引システムにどのように入るのかを特徴付ける最初の体系的実証的研究について述べる。
論文 参考訳（メタデータ） (2026-08-25T05:07:37Z) - MINDGAMES: A Live Arena for Evaluating Social and Strategic Reasoning in Multi-Agent LLMs [54.81359054218573]
大規模言語モデル(LLM)のためのマルチゲームアリーナと評価プラットフォームであるMindgamesを紹介する。
Mindgamesは、統合されたインタラクションインターフェース、TrueSkillベースの評価、および4つのゲーム環境にわたる完全な軌跡ログを提供する。
我々は,決定論的オフライントーナメントプロトコルMG-Refとともに,ターンレベルの観察,アクション,報酬を含む29,571個のマルチエージェントゲームを分析した。
論文 参考訳（メタデータ） (2026-05-28T07:33:47Z) - Cattle Trade: A Multi-Agent Benchmark for LLM Bluffing, Bidding, and Bargaining [0.5691230599672109]
我々は,大規模言語モデル(LLM)を戦略的推論のエージェントとして評価するためのベンチマークであるtextscCattle Tradeを紹介した。
このベンチマークは、1つのロングホライゾンゲーム内でのオークション、隠れオフのトレードチャレンジ(TC)、バーゲティング、ブラッフィング、相手モデリング、リソース割り当てを組み合わせたものだ。
我々は,242ゲームに対して,コスト効率のよい7つの言語モデルと3つの決定論的コードエージェントを評価した。
論文 参考訳（メタデータ） (2026-05-14T08:20:03Z) - ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
$textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。
Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
論文 参考訳（メタデータ） (2026-05-11T16:20:51Z) - Agentic Retrieval-Augmented Generation for Financial Document Question Answering [7.56842616602779]
FinAgent-RAGは、反復的な検索推論ループを自己組織化してオーケストレーションするエージェントRAGフレームワークである。
コントラシティブ・ファイナンシャル・レトリバー(Contrastive Financial Retriever)は、意味的には似ているが数値的に異なる金融パスを区別するために、厳しい負の採掘で訓練されたコントラシティブ・ファイナンシャル・レトリバーを統合している。
76.81%、78.46%、74.96%の精度で最強のベースラインを5.62-9.32ポイント上回っている。
論文 参考訳（メタデータ） (2026-05-06T19:59:51Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language Environment Simulation [57.505743202759646]
OccuBenchは10の業界カテゴリと65の専門ドメインにわたる100の現実のプロフェッショナルタスクシナリオをカバーするベンチマークである。
我々のマルチエージェント合成パイプラインは, 可溶性, 校正困難, 文書基底の多様性を保証した評価インスタンスを自動生成する。
論文 参考訳（メタデータ） (2026-04-13T00:27:32Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - Structured Debate Improves Corporate Credit Reasoning in Financial AI [6.013710554725173]
本研究では,非財務的証拠から構造化推論を生成する2つの運用型大規模言語モデル(LLM)を開発し,評価する。
1つ目は、単一パス推論パイプラインを通じて双方向解析を生成する非アドリアル単エージェントシステム(NAS)である。
第2の方法は,10段階の構造的相互作用プロトコルによる対向検証を運用する,議論ベースのマルチエージェントシステム(KPD-MADS)である。
論文 参考訳（メタデータ） (2025-10-20T02:50:03Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - FinGAIA: A Chinese Benchmark for AI Agents in Real-World Financial Domain [17.682962451679312]
FinGAIAは7つの主要な金融サブドメインにまたがる、細心の注意を払って407のタスクで構成されている。
最高成績のエージェントであるChatGPTは48.9%の精度を達成し、非専門職よりも優れているが、財務の専門家を35パーセント以上遅れている。
論文 参考訳（メタデータ） (2025-07-23T04:19:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。