論文の概要: Comparing Open-Source and Commercial LLMs for Domain-Specific Analysis and Reporting: Software Engineering Challenges and Design Trade-offs
- arxiv url: http://arxiv.org/abs/2509.24344v1
- Date: Mon, 29 Sep 2025 06:46:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 22:32:19.792684
- Title: Comparing Open-Source and Commercial LLMs for Domain-Specific Analysis and Reporting: Software Engineering Challenges and Design Trade-offs
- Title（参考訳）: ドメイン特化分析とレポートのためのオープンソースと商用LLMの比較:ソフトウェアエンジニアリングの課題と設計のトレードオフ
- Authors: Theo Koraag, Niklas Wagner, Felix Dobslaw, Lucas Gren,
- Abstract要約: 大規模言語モデル(LLM)は、ドメイン間の複雑な自然言語処理の自動化を可能にする。
本研究では、財務報告分析とコメント生成のためのオープンソースおよび商用LCMについて検討した。
- 参考スコア（独自算出の注目度）: 3.5057035107656733
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Context: Large Language Models (LLMs) enable automation of complex natural language processing across domains, but research on domain-specific applications like Finance remains limited. Objectives: This study explored open-source and commercial LLMs for financial report analysis and commentary generation, focusing on software engineering challenges in implementation. Methods: Using Design Science Research methodology, an exploratory case study iteratively designed and evaluated two LLM-based systems: one with local open-source models in a multi-agent workflow, another using commercial GPT-4o. Both were assessed through expert evaluation of real-world financial reporting use cases. Results: LLMs demonstrated strong potential for automating financial reporting tasks, but integration presented significant challenges. Iterative development revealed issues including prompt design, contextual dependency, and implementation trade-offs. Cloud-based models offered superior fluency and usability but raised data privacy and external dependency concerns. Local open-source models provided better data control and compliance but required substantially more engineering effort for reliability and usability. Conclusion: LLMs show strong potential for financial reporting automation, but successful integration requires careful attention to architecture, prompt design, and system reliability. Implementation success depends on addressing domain-specific challenges through tailored validation mechanisms and engineering strategies that balance accuracy, control, and compliance.
- Abstract（参考訳）: コンテキスト: 大規模言語モデル(LLM)は、ドメイン間の複雑な自然言語処理を自動化しますが、ファイナンスのようなドメイン固有のアプリケーションの研究は限定的です。
目的:本研究では,財務報告分析とコメント生成のためのオープンソースおよび商用LLMについて,実装におけるソフトウェア工学的課題に着目して検討した。
方法:Design Science Researchの方法論を用いて、2つのLCMベースのシステムを反復的に設計・評価する。
両者は、実世界の財務報告のユースケースに関する専門家による評価によって評価された。
結果: LLMは財務報告タスクの自動化に強い可能性を示したが,統合は大きな課題を示した。
反復的な開発は、迅速な設計、コンテキスト依存、実装のトレードオフを含む問題を明らかにした。
クラウドベースのモデルでは、ファレンシとユーザビリティが優れていたが、データのプライバシと外部依存性の懸念が持ち上がった。
ローカルなオープンソースモデルは、より良いデータ制御とコンプライアンスを提供するが、信頼性とユーザビリティのために、はるかに多くのエンジニアリング作業を必要とした。
結論: LLMは財務報告自動化の可能性を強く示していますが、統合の成功にはアーキテクチャ、迅速な設計、システムの信頼性に注意が必要です。
実装の成功は、正確性、制御、コンプライアンスのバランスをとるように調整された検証メカニズムとエンジニアリング戦略を通じて、ドメイン固有の課題に対処することに依存する。
関連論文リスト
- QuantMCP: Grounding Large Language Models in Verifiable Financial Reality [0.43512163406552007]
大規模言語モデル(LLM)は、財務分析と意思決定に革命をもたらすという大きな約束を持っている。
しかし、その直接的な適用は、データ幻覚の問題や、リアルタイムで検証可能な財務情報へのアクセスの欠如によって、しばしば妨げられている。
本稿では,金融現実にLLMを厳格に活用するための新しいフレームワークであるQuantMCPを紹介する。
論文 参考訳（メタデータ） (2025-06-07T01:52:39Z) - ModelingAgent: Bridging LLMs and Mathematical Modeling for Real-World Challenges [72.19809898215857]
ModelingBenchは、様々な領域にわたる数学モデリングの競争から、現実に着想を得たオープンエンドの問題を特徴付ける新しいベンチマークである。
これらのタスクには、自然言語を形式的な数学的定式化に翻訳し、適切なツールを適用し、構造化された防御可能なレポートを生成する必要がある。
ツール使用をコーディネートするマルチエージェントフレームワークである ModelingAgent も紹介します。
論文 参考訳（メタデータ） (2025-05-21T03:33:23Z) - Evaluating Large Language Models for Real-World Engineering Tasks [75.97299249823972]
本稿では,実運用指向のエンジニアリングシナリオから得られた100以上の質問をキュレートしたデータベースを提案する。
このデータセットを用いて、4つの最先端の大規模言語モデル(LLM)を評価する。
以上の結果から,LLMは時間的および構造的推論において強みを示すが,抽象的推論や形式的モデリング,文脈に敏感な工学的論理にはかなり苦労することがわかった。
論文 参考訳（メタデータ） (2025-05-12T14:05:23Z) - Challenges in Testing Large Language Model Based Software: A Faceted Taxonomy [14.041979999979166]
LLM(Large Language Models)とMulti-Agent LLM(MALLMs)は、従来の機械学習ソフトウェアとは異なり、非決定性を導入している。
本稿では, LLMテストケース設計の分類について, 研究文献, 経験, 実践状況を表すオープンソースツールの両面から報告する。
論文 参考訳（メタデータ） (2025-03-01T13:15:56Z) - An Overview of Large Language Models for Statisticians [109.38601458831545]
大規模言語モデル(LLM)は人工知能(AI)の変換ツールとして登場した。
本稿では, 統計学者がLLMの開発に重要な貢献できる可能性について考察する。
我々は不確実性定量化、解釈可能性、公正性、プライバシー、透かし、モデル適応といった問題に焦点を当てる。
論文 参考訳（メタデータ） (2025-02-25T03:40:36Z) - Evaluating Large Language Models on Financial Report Summarization: An Empirical Study [9.28042182186057]
我々は3つの最先端大言語モデル(LLM)の比較研究を行っている。
我々の主な動機は、これらのモデルがどのように金融の中で活用できるかを探求することであり、正確さ、文脈的関連性、誤った情報や誤解を招く情報に対する堅牢性を要求する分野である。
本稿では,定量的メトリクス(精度,リコールなど)と質的分析(コンテキスト適合性,一貫性など)を統合し,各モデルの出力品質の全体像を提供する,革新的な評価フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-11T10:36:04Z) - Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。
実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。
以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
論文 参考訳（メタデータ） (2024-06-19T00:28:58Z) - Enhancing the Efficiency and Accuracy of Underlying Asset Reviews in Structured Finance: The Application of Multi-agent Framework [3.022596401099308]
AIは、ローンアプリケーションと銀行のステートメント間の情報の検証を効果的に自動化できることを示します。
この研究は、手動エラーを最小限に抑え、デューディリジェンスを合理化するAIの可能性を強調し、財務文書分析とリスク管理におけるAIの幅広い応用を示唆している。
論文 参考訳（メタデータ） (2024-05-07T13:09:49Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - CREATOR: Tool Creation for Disentangling Abstract and Concrete Reasoning of Large Language Models [74.22729793816451]
大規模言語モデル(LLM)はツールの利用において大きな進歩を遂げているが、その能力はAPIの可用性によって制限されている。
我々は、LCMがドキュメンテーションとコード実現を使って独自のツールを作成できる新しいフレームワークCREATORを提案する。
我々は,MATH と TabMWP のベンチマークで CREATOR を評価する。
論文 参考訳（メタデータ） (2023-05-23T17:51:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。