論文の概要: Streaming REST APIs for Large Financial Transaction Exports from Relational Databases
- arxiv url: http://arxiv.org/abs/2603.12566v1
- Date: Fri, 13 Mar 2026 01:56:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-16 17:38:11.842248
- Title: Streaming REST APIs for Large Financial Transaction Exports from Relational Databases
- Title(参考訳): リレーショナルデータベースからの大規模な金融トランザクションエクスポートのためのREST APIのストリーミング
- Authors: Abhiram Kandiraju,
- Abstract要約: 本稿では,データベースからトランザクションレコードを漸進的に取得し,それをリレーショナル応答出力ストリームに直接書き込むストリーミングベースのREST APIアーキテクチャを提案する。
このアーキテクチャは、StreamingOutputインターフェースを備えたJavaベースのJAX-RSフレームワークを使用して実装されており、CSV、OFX、QFX、QBOを含む複数の金融輸出フォーマットをサポートしている。
実際には、ストリーミングアプローチはメモリバッファリングの要求を大幅に減らし、大規模なエクスポートダウンロードを即座に開始し、高ボリュームのエクスポート操作に対する応答性とスケーラビリティを改善している。
- 参考スコア(独自算出の注目度): 0.45835414225547183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Financial platforms and enterprise systems frequently provide transaction export capabilities to support reporting, reconciliation, auditing, and regulatory compliance workflows. In many environments, these exports involve very large datasets containing hundreds of thousands or even millions of transaction records. Traditional REST API implementations often construct the entire export payload in application memory before transmitting the response to the client, which can lead to high memory consumption and delayed response initiation when processing large datasets. This paper presents a streaming-based REST API architecture that retrieves transaction records incrementally from relational databases and writes them directly to the HTTP response output stream. By integrating database cursor retrieval with progressive HTTP transmission, the proposed design allows export data to be delivered continuously as records are processed rather than after the full dataset has been assembled. The architecture is implemented using a Java-based JAX-RS framework with the StreamingOutput interface and supports multiple financial export formats including CSV, OFX, QFX, and QBO. In practice, the streaming approach significantly reduces memory buffering requirements and allows large export downloads to begin immediately, improving responsiveness and scalability for high-volume export operations.
- Abstract(参考訳): 金融プラットフォームとエンタープライズシステムは、しばしば、レポート、和解、監査、規制コンプライアンスワークフローをサポートするトランザクションエクスポート機能を提供する。
多くの環境では、これらのエクスポートは数十万、あるいは数百万のトランザクションレコードを含む非常に大きなデータセットを含んでいる。
従来のREST APIの実装は、クライアントにレスポンスを送信する前に、アプリケーションメモリのエクスポートペイロード全体を構築することが多い。
本稿では、リレーショナルデータベースからトランザクションレコードを漸進的に取得し、HTTP応答出力ストリームに直接書き込むストリーミングベースのREST APIアーキテクチャを提案する。
データベースカーソル検索とプログレッシブHTTP送信を統合することで、完全なデータセットが組み立てられた後ではなく、レコードが処理されたときにエクスポートデータを継続的に配信することができる。
このアーキテクチャは、StreamingOutputインターフェースを備えたJavaベースのJAX-RSフレームワークを使用して実装されており、CSV、OFX、QFX、QBOを含む複数の金融輸出フォーマットをサポートしている。
実際には、ストリーミングアプローチはメモリバッファリングの要求を大幅に減らし、大規模なエクスポートダウンロードを即座に開始し、高ボリュームのエクスポート操作に対する応答性とスケーラビリティを改善している。
関連論文リスト
- Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。
modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
論文 参考訳(メタデータ) (2026-03-05T03:16:16Z) - RoutIR: Fast Serving of Retrieval Pipelines for Retrieval-Augmented Generation [24.079284500008754]
Retrieval-Augmented Generation(RAG)システムの主要なコンポーネントはRetrieval Modelである。
RAGシステムは、しばしば動的であり、複数ラウンドの検索を含む。
RoutIRは任意の検索メソッドをラップするPythonパッケージである。
論文 参考訳(メタデータ) (2026-01-15T18:04:43Z) - Vextra: A Unified Middleware Abstraction for Heterogeneous Vector Database Systems [0.0]
本稿では,APIの断片化に対処する新しい抽象化レイヤであるVextraを紹介する。
Vextraは、データアップセレーション、類似検索、メタデータフィルタリングを含む、コアデータベース操作のための統一された高レベルAPIを提供する。
プラグイン可能なアダプタアーキテクチャを使用して、これらの統一されたAPI呼び出しをさまざまなバックエンドデータベースのネイティブプロトコルに変換する。
論文 参考訳(メタデータ) (2026-01-11T00:35:35Z) - ODataX: A Progressive Evolution of the Open Data Protocol [1.7188280334580195]
Open Data Protocol(OData)は、リッチなクエリ機能を備えたAPIの構築と利用のための標準化されたアプローチを提供する。
本稿では,OData導入の防止に重要な障壁を解析し,これらの制約に対処するために設計されたプロトコルの進化版であるODataXを紹介する。
論文 参考訳(メタデータ) (2025-10-22T07:50:06Z) - FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language [48.79534869177174]
我々は、FineWebをベースにした、新しいトレーニング済みデータセットキュレーションパイプラインを導入する。
我々のパイプラインは、以前のデータセットよりもパフォーマンスの高いモデルを生成する非英語コーパスを作成するために使用できることを示す。
パイプラインを約100のCommon Crawlスナップショットを使用して1000以上の言語に拡張し、新たに20テラバイト(50億ドキュメント)のマルチリンガルデータセットであるFinWeb2を生成しました。
論文 参考訳(メタデータ) (2025-06-26T01:01:47Z) - Tracezip: Efficient Distributed Tracing via Trace Compression [26.353398496686854]
分散トレースは、クラウドサービスシステムの監視とテストにおいて、基本的なビルディングブロックとして機能する。
ヘッドベースサンプリングは、システムに入ると追跡するリクエストを無差別に選択する。
テールベースのサンプリングは、まずすべてのリクエストをキャプチャし、次にエッジケーストレースを選択的に永続化する。
トレース圧縮による分散トレースの効率を向上させるため,Tracezipを提案する。
論文 参考訳(メタデータ) (2025-02-10T10:13:57Z) - CAPRAG: A Large Language Model Solution for Customer Service and Automatic Reporting using Vector and Graph Retrieval-Augmented Generation [1.118478900782898]
私たちは、顧客に対して銀行サービスに関する関連情報と年次レポートからの洞察を提供するように設計されたAIエージェントを開始した。
我々は、関係に基づくクエリと文脈的クエリの両方に効果的に対応するハイブリッドな顧客分析パイプライン検索生成(CAPRAG)を提案する。
国際銀行向けに設計された私たちの革新的なサービスは、ますます複雑なデジタル環境の中で銀行の顧客に役立ちます。
論文 参考訳(メタデータ) (2025-01-23T10:38:20Z) - Relational Database Augmented Large Language Model [59.38841050766026]
大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。
彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。
この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
論文 参考訳(メタデータ) (2024-07-21T06:19:10Z) - Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow [49.28944613907541]
金融、気象学、エネルギーといった産業は毎日大量のデータを生み出している。
本研究では,データ分析エージェントであるData-Copilotを提案する。
論文 参考訳(メタデータ) (2023-06-12T16:12:56Z) - DC-BERT: Decoupling Question and Document for Efficient Contextual
Encoding [90.85913515409275]
近年のオープンドメイン質問応答は,BERT などの事前学習言語モデルを用いて顕著な性能向上を実現している。
本稿では,2つのBERTモデルを持つコンテキストエンコーディングフレームワークであるDC-BERTと,すべての文書を事前エンコードし,それらのエンコーディングをキャッシュするオフラインBERTを提案する。
SQuADオープンとNatural Questionsオープンデータセットでは、DC-BERTは文書検索の10倍のスピードアップを実現し、QAパフォーマンスのほとんど(約98%)を維持している。
論文 参考訳(メタデータ) (2020-02-28T08:18:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。