論文の概要: Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry

• arxiv url: http://arxiv.org/abs/2608.18033v1
• Date: Tue, 18 Aug 2026 17:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.415656
• Title: Where A Small Language Model Helps in Invoice Categorisation, Understood Through Embedding Geometry
• Title（参考訳）: 語彙分類における小さな言語モデルの役割 : 埋め込み幾何学による理解
• Abstract要約: 社内のスモールランゲージモデル(SLM)は、コストを同時に削減し、データセキュリティ、機密性、解釈可能性を改善する。 我々は、まず、小文変圧器(SBERT)と古典的SLM(DeBERTa)の事前学習した埋め込み形状を分析して、このアプローチを考察する。 単一のGPU上で微調整されたSBERTは、ゼロショットLLMとベンダーIDベースラインのどちらよりも、請求書分類の精度が0.96に達する。 この重要な一般化問題に対して、SBERTは、約100のクライアント固有の請求書で0.9 F1に達し、社内のSLM実装が有望であることを示す。
• 参考スコア（独自算出の注目度）: 2.9184958249079975
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Categorising invoices into the correct General Ledger (GL) code underpins financial reporting and tax compliance. This is a skilled accounting judgement rather than a routine task: the correct category depends subtly on the nature of the purchasing business, the vendor and the invoice text. Whilst AI is increasingly being adopted across industries to automate tasks, including invoice categorisation, implementations built on in-house small language models (SLMs) can simultaneously reduce cost and improve data security, confidentiality, and interpretability. We investigate this approach by first analysing the pre-trained embedding geometry of a small sentence transformer (SBERT) and classic SLM (DeBERTa). The sentence-embedding space of this financial corpus is globally anisotropic but composed of locally isotropic clusters, extending prior token-level findings to sentence embeddings in a financial setting, and these clusters are strongly correlated with the vendor identity. SBERT fine-tuned on a single GPU reaches 0.96 accuracy on invoice classification, above both a zero-shot LLM and a vendor identity baseline, increasing performance for smaller, challenging categories and new clients. For this important generalisation problem, SBERT reaches 0.9 F1 with roughly 100 client-specific invoices, showing that an in-house SLM implementation is promising. Combining these results with geometric analysis shows that pre-trained embedding geometry is associated with classification performance and reveals a counterintuitive finding that a structured input that would help a human reader does not improve the SLM performance.
• Abstract（参考訳）: 正しいジェネラル・レッジャー(GL)コードへの請求書の分類は、財務報告と税のコンプライアンスを支えている。 正しいカテゴリーは、購入ビジネス、ベンダー、請求書のテキストの性質に微妙に依存する。 請求書の分類、社内の小さな言語モデル(SLM)上に構築された実装は、コストを同時に削減し、データセキュリティ、機密性、解釈可能性を改善することができる。 本研究では,まず,SBERT (Small sentence transformer) と DEBERTa (Classic SLM) の事前学習による埋め込み形状の分析を行った。 このファイナンシャルコーパスの文埋め込み空間は、グローバルな異方性であるが、局所等方性クラスタで構成されており、トークンレベルの前の発見を財務環境に埋め込むまで拡張し、これらのクラスタはベンダーのアイデンティティと強く相関している。 単一のGPU上で微調整されたSBERTは、ゼロショットLLMとベンダーIDベースラインの両方よりも高い、請求書分類の精度が0.96に達し、より小さく挑戦的なカテゴリと新しいクライアントのパフォーマンスが向上する。 この重要な一般化問題に対して、SBERTは、約100のクライアント固有の請求書で0.9 F1に達し、社内のSLM実装が有望であることを示す。 これらの結果と幾何学的解析を組み合わせることで、事前学習された埋め込み幾何学が分類性能と結びついていることが示され、人間の読者がSLMの性能を向上しないような構造的入力が反直感的であることが明らかとなった。

関連論文リスト

• Concordia: Self-Improving Synthetic Tables for Federated LLMs [80.03837595689608]
  フェデレートラーニングは、生データを共有することなく、大きな言語モデル(LLM)をトレーニングすることを可能にする。 合成データ生成とフェデレートされた検証ユーティリティを連携させるフレームワークであるConcordiaを提案する。
  論文  参考訳（メタデータ） (2026-05-11T01:17:58Z)
• Understanding Structured Financial Data with LLMs: A Case Study on Fraud Detection [17.04809129025246]
  FinFRE-RAGは、数値・分類属性のコンパクトなサブセットを自然言語にシリアライズするために重要誘導特徴量削減を適用した2段階のアプローチである。 LLMは人間の読みやすい説明を作成し、特徴分析を促進することができるため、詐欺分析者の手作業の負担を軽減できる可能性がある。
  論文  参考訳（メタデータ） (2025-12-15T07:09:11Z)
• Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings [26.118375969968437]
  大きな言語モデル(LLM)は、より優れたセマンティック理解を通じて、この制限に対処することができる。 軽量トランザクションモデルのためのセマンティック初期化としてLLM生成の埋め込みを利用するハイブリッドフレームワークを提案する。 提案手法では,マルチソースデータ融合を用いて,商取引分野を豊かにし,一貫した埋め込み生成のための一語制約原理を定めている。
  論文  参考訳（メタデータ） (2025-12-01T23:30:17Z)
• FinAgentBench: A Benchmark Dataset for Agentic Retrieval in Financial Question Answering [57.18367828883773]
  FinAgentBenchは、ファイナンスにおける多段階推論によるエージェント検索を評価するためのベンチマークである。 このベンチマークは、S&P-500上場企業に関する26Kのエキスパートアノテート例から成っている。 我々は,最先端モデルの集合を評価し,対象の微調整がエージェント検索性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2025-08-07T22:15:22Z)
• FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information [47.37027539828975]
  FinTaggingは構造認識とフルスコープのための最初の包括的なベンチマークである。 タグ付け 数値識別用FinNIは、数値エンティティとそのタイプを抽出する。 財務報告 概念リンクのためのFinCLは、抽出された各実体を米国の完全な分類学における対応する概念にマッピングする。
  論文  参考訳（メタデータ） (2025-05-27T02:55:53Z)
• Structuring the Unstructured: A Multi-Agent System for Extracting and Querying Financial KPIs and Guidance [54.25184684077833]
  構造化されていない財務文書から定量的な洞察を抽出する,効率的でスケーラブルな手法を提案する。 提案システムは,emphExtraction AgentとemphText-to-Agentの2つの特殊エージェントから構成される。
  論文  参考訳（メタデータ） (2025-05-25T15:45:46Z)
• Harnessing Generative LLMs for Enhanced Financial Event Entity Extraction Performance [0.0]
  金融イベントエンティティ抽出は、財務知識グラフを構築する上で重要なタスクである。 従来のアプローチでは、しばしばシーケンスラベリングモデルに依存しており、長距離依存に苦しむことがある。 本稿では,財務イベントエンティティ抽出をテキストから構造化した生成タスクとして再編成する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-20T14:23:31Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• You can't pick your neighbors, or can you? When and how to rely on retrieval in the $k$NN-LM [65.74934004876914]
  Retrieval-enhanced Language Model (LM) は、大規模な外部データストアから取得したテキストにそれらの予測を条件付ける。 そのようなアプローチの1つ、$k$NN-LMは、既存のLMの予測を$k$-nearest近くのモデルの出力と補間する。 本研究では,2つの英語モデルデータセットに対するアプローチの有効性を実証的に測定する。
  論文  参考訳（メタデータ） (2022-10-28T02:57:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。