論文の概要: INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models

• arxiv url: http://arxiv.org/abs/2607.24273v1
• Date: Mon, 27 Jul 2026 11:12:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.39966
• Title: INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models
• Title（参考訳）: INS-ActBench:大規模言語モデルのプロフェッショナルなアクチュアビリティを評価するための総合ベンチマーク
• Abstract要約: INS-ActBenchは、大規模言語モデル(LLM)におけるアクチュアリティを評価するためのベンチマークである。 INS-ActBenchには、公開試験から12,050対のQ&Aと、16のアクチュアリアル・アソシエーションがリリースしたサンプル質問が含まれている。 textbfINS-Act-Know for standardized actuarial knowledge, textbfINS-Act-Case for long-context insurance case reasoning, textbfINS-Act-Practice for spreadsheet and R-code task with numerical output。
• 参考スコア（独自算出の注目度）: 11.556217835954842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown strong potential in financial reasoning, but existing benchmarks often evaluate domain knowledge, numerical reasoning, long-context understanding, and tool use in separate settings. This limits their ability to assess realistic professional workflows that require auditable, context-grounded, and tool-executable decisions. We introduce \textbf{INS-ActBench}, a comprehensive benchmark for evaluating professional actuarial capability in LLMs. INS-ActBench contains 12,050 Q\&A pairs from public exams and sample questions released by 16 actuarial associations. It covers three subsets: \textbf{INS-Act-Know} for standardized actuarial knowledge, \textbf{INS-Act-Case} for long-context insurance case reasoning, and \textbf{INS-Act-Practice} for spreadsheet and R-code tasks with verifiable numerical outputs. Experiments on nine representative LLMs and human actuarial experts reveal a clear capability boundary: frontier LLMs perform strongly on standardized knowledge, but remain much weaker in case reasoning, tool-based workflows, and jurisdiction-sensitive practice. INS-ActBench provides a reproducible foundation for developing actuarial LLMs toward reliable professional assistance. The code is available at https://github.com/FDU-INS/INS-ActBench.
• Abstract（参考訳）: LLM(Large Language Models)は、財務的推論において大きな可能性を示しているが、既存のベンチマークでは、ドメイン知識、数値的推論、長いコンテキスト理解、ツールの使用を別々の設定で評価することが多い。 これにより、監査可能、コンテキストベース、ツール実行可能な意思決定を必要とする、現実的なプロフェッショナルワークフローを評価する能力が制限される。 LLMにおけるプロフェッショナルなアクタリカルな能力を評価するための総合的なベンチマークである「textbf{INS-ActBench}」を紹介する。 INS-ActBenchには、公開試験から12,050対のQ\&Aと、16のアクチュアリアル協会が発行したサンプル質問が含まれている。 これは3つのサブセットをカバーしている: アクチュアリショナル知識の標準化のための \textbf{INS-Act-Know} 、長期コンテキストの保険ケース推論のための \textbf{INS-Act-Case} 、検証可能な数値出力を持つスプレッドシートおよびRコードタスクのための \textbf{INS-Act-Practice} である。 フロンティアLSMは、標準化された知識に強く依存するが、ケース推論、ツールベースのワークフロー、および管轄権に敏感な実践において、はるかに弱いままである。 INS-ActBenchは、信頼性の高い専門家支援に向けて、アクチュアリルLSMを開発するための再現可能な基盤を提供する。 コードはhttps://github.com/FDU-INS/INS-ActBenchで入手できる。

関連論文リスト

• Beyond the Syntax: Do Security Experts Trust LLMs for NIDS Rule Engineering? [70.17374586573033]
  本稿では,Large Language Models(LLMs)に基づくNIDSルールエンジニアリングを人間中心で調査する。 LLMは構文的に正しい規則を生成するが、専門家は部分的にしか展開できないと考えている。 大規模モデルは構文的に有効な規則を一貫して生成するが、小型モデルはIDSルールの生成にはほとんど効果がない。
  論文  参考訳（メタデータ） (2026-07-07T07:09:56Z)
• \$OneMillion-Bench: How Far are Language Agents from Human Experts? [43.31541643833527]
  OneMillion-Benchは、法、財務、産業、ヘルスケア、そして自然科学にまたがる400の専門家によるタスクのベンチマークである。 OneMillion-Benchは、ドメイン集約シナリオにおけるエージェントの信頼性、専門的な深さ、実践的準備性を評価するための統合テストベッドを提供する。
  論文  参考訳（メタデータ） (2026-03-09T05:32:42Z)
• PLawBench: A Rubric-Based Benchmark for Evaluating LLMs in Real-World Legal Practice [67.71760070255425]
  本稿では,大規模言語モデル (LLM) を評価するための実践的ベンチマークであるPLawBenchを紹介する。 PLawBenchは、13の実践的な法的シナリオにわたる850の質問で構成され、各質問には専門家が設計した評価ルーブが伴っている。 人間の専門的判断に合わせたLLMに基づく評価器を用いて,10種類の最先端のLLMを評価した。
  論文  参考訳（メタデータ） (2026-01-23T11:36:10Z)
• AutoBaxBuilder: Bootstrapping Code Security Benchmarking [14.946765026951601]
  コードセキュリティベンチマークのタスクとテストをスクラッチから生成するフレームワークであるAutoBaxBuilderを紹介します。 LLMのコード理解機能を活用して,機能テストとエンドツーエンドのセキュリティ保証のエクスプロイトを構築する,詳細な可視性チェックを備えた堅牢なパイプラインを導入する。 私たちはAutoBaxBuilderを使ってまったく新しいタスクを構築し、それらをAutoBaxBenchとして公開します。
  論文  参考訳（メタデータ） (2025-12-24T12:02:00Z)
• TRUEBench: Can LLM Response Meet Real-world Constraints as Productivity Assistant? [11.400738388392654]
  大規模言語モデル(LLM)は生産性アシスタントとしてますます統合されている。 既存のベンチマークは、実世界の命令追跡能力を厳格に評価するに足りていない。 LLMベースの生産性アシスタント用に特別に設計されたベンチマークであるTRUEBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T08:05:32Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Tests as Prompt: A Test-Driven-Development Benchmark for LLM Code Generation [1.7268889851975326]
  私たちは、テスト駆動開発(TDD)タスクにおいて、大規模言語モデル(LLM)を評価するための新しいベンチマークであるWebApp1Kを紹介します。 自然言語のプロンプトに依存する従来のアプローチとは異なり、我々のベンチマークでは、LLMがテストケースから直接機能を解釈し実装する能力を強調しています。
  論文  参考訳（メタデータ） (2025-05-13T23:47:12Z)
• Computational Reasoning of Large Language Models [51.629694188014064]
  textbfTuring Machine Benchは,Large Language Models(LLM)による推論プロセスの実行能力を評価するベンチマークである。 TMBenchには、自己完結型および知識に依存しない推論、最小主義的な多段階構造、制御可能な難易度、チューリングマシンに基づく理論的基礎の4つの重要な特徴が組み込まれている。
  論文  参考訳（メタデータ） (2025-04-29T13:52:47Z)
• CodeIF-Bench: Evaluating Instruction-Following Capabilities of Large Language Models in Interactive Code Generation [10.438717413104062]
  大規模言語モデルの命令追従能力を評価するためのベンチマークであるCodeIF-Benchを紹介する。 CodeIF-Benchには、現実世界のソフトウェア開発要件に沿った9種類の検証可能な命令が組み込まれている。 textitStatic Conversation と textitDynamic Conversation の設定の両方において、7つの最先端 LLM の性能を評価する。
  論文  参考訳（メタデータ） (2025-03-05T09:47:02Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• INS-MMBench: A Comprehensive Benchmark for Evaluating LVLMs' Performance in Insurance [51.36387171207314]
  LVLM(Large Vision-Language Models)とMLLM(Multimodal Large Language Models)は、専門分野における将来性を示す。 本研究は,自動車,不動産,健康,農業の4種類の保険のマルチモーダルタスクを体系的に評価し,分類する。 我々は、GPT-4oのようなクローズドソースモデルやLLaVAのようなオープンソースモデルを含む11のLVLMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-13T13:31:49Z)
• CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model [121.23360004498893]
  逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。 従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
  論文  参考訳（メタデータ） (2024-03-13T08:54:31Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
  大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。 我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。 我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
  論文  参考訳（メタデータ） (2023-05-23T17:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。