論文の概要: Blaze: Compiling JSON Schema for 10x Faster Validation
- arxiv url: http://arxiv.org/abs/2503.02770v1
- Date: Tue, 04 Mar 2025 16:35:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:20:48.764572
- Title: Blaze: Compiling JSON Schema for 10x Faster Validation
- Title(参考訳): Blaze:JSONスキーマを10倍高速なバリデーションにコンパイルする
- Authors: Juan Cruz Viotti, Michael J. Mior,
- Abstract要約: guardrailsは、Web APIの開発者に、入力が構造にマッチすることを保証するための便利な機能を提供する。
Blazeは複雑なスキーマを数秒から数分で効率的な表現にコンパイルし、ビルド時に最小限のオーバーヘッドを追加する。
Blazeにはいくつかのユニークな最適化が組み込まれており、既存のバリデータと比べて平均して10倍のバリデーション時間を短縮している。
- 参考スコア(独自算出の注目度): 0.5708964539699851
- License:
- Abstract: JSON Schemas provide useful guardrails for developers of Web APIs to guarantee that the semi-structured JSON input provided by clients matches a predefined structure. This is important both to ensure the correctness of the data received as input and also to avoid potential security issues from processing input that is not correctly validated. However, this validation process can be time-consuming and adds overhead to every request. Different keywords in the JSON Schema specification have complex interactions that may increase validation time. Since popular APIs may process thousands of requests per second and schemas change infrequently, we observe that we can resolve some of the complexity ahead of time in order to achieve faster validation. Our JSON Schema validator, Blaze, compiles complex schemas to an efficient representation in seconds to minutes, adding minimal overhead at build time. Blaze incorporates several unique optimizations to reduce the validation time by an average of approximately 10x compared existing validators on a variety of datasets. In some cases, Blaze achieves a reduction in validation time of multiple orders of magnitude compared to the next fastest validator. We also demonstrate that several popular validators produce incorrect results in some cases, while Blaze maintains strict adherence to the JSON Schema specification.
- Abstract(参考訳): JSON Schemasは、クライアントから提供される半構造化JSON入力が事前に定義された構造にマッチすることを保証するために、Web API開発者にとって有用なガードレールを提供する。
これは、入力として受信したデータの正確性を確保するとともに、正しく検証されていない入力を処理することによる潜在的なセキュリティ問題を回避するために重要である。
しかし、この検証プロセスは時間がかかり、リクエスト毎にオーバーヘッドを追加することができる。
JSON Schema仕様の異なるキーワードには、バリデーション時間を増やすような複雑な相互作用がある。
一般的なAPIは毎秒何千ものリクエストを処理でき、スキーマは頻繁に変更されるため、より高速な検証を実現するために、事前にいくつかの複雑さを解決できると考えています。
当社のJSON SchemaバリデータBlazeは、複雑なスキーマを数秒から数分で効率的な表現にコンパイルし、ビルド時に最小限のオーバーヘッドを追加します。
Blazeには、さまざまなデータセット上の既存のバリデータと比べて平均10倍のバリデーション時間を短縮する、いくつかのユニークな最適化が含まれている。
いくつかのケースでは、Blazeは次の最速のバリデータと比べて、複数の桁のバリデーション時間を削減します。
BlazeはJSON Schema仕様への厳格な準拠を維持していますが、いくつかの一般的なバリデータによっては、いくつかのケースで誤った結果が得られます。
関連論文リスト
- Multi-Candidate Speculative Decoding [82.05519287513444]
大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。
これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。
本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。
対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
論文 参考訳(メタデータ) (2024-01-12T17:15:23Z) - Beyond Two-Tower Matching: Learning Sparse Retrievable
Cross-Interactions for Recommendation [80.19762472699814]
2-towerモデルは、産業アプリケーションに広くデプロイされている推奨のための一般的なマッチングフレームワークである。
機能間相互作用の制限と、オンラインサービスにおける精度の低下など、主な課題が2つある。
我々は,高度な機能相互作用だけでなく,効率的な検索もサポートするSparCodeという新しいマッチングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-11-30T03:13:36Z) - Unlimiformer: Long-Range Transformers with Unlimited Length Input [67.04942180004805]
Unlimiformerは、既存のトレーニング済みエンコーダ-デコーダ変換器をラップする一般的なアプローチである。
クロスアテンション計算をkNN(k-nearest-neighbor)インデックスにオフロードする。
Unlimiformerは、BookSumデータセットから500kのトークン長の入力を、テスト時に入力トランケーションなしで処理できることを示す。
論文 参考訳(メタデータ) (2023-05-02T17:35:08Z) - Three New Validators and a Large-Scale Benchmark Ranking for
Unsupervised Domain Adaptation [37.03614011735927]
教師なしドメイン適応(UDA)のための3つの新しいバリデータを提案する。
私たちは、1000,000のチェックポイントの大規模なデータセットで、他の5つのバリデータと比較し、ランク付けします。
提案するバリデータのうち2つは,様々な環境で最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-08-15T17:55:26Z) - Evaluating the Impact of Source Code Parsers on ML4SE Models [3.699097874146491]
名前予測言語でSupernorm2SeqとTreeLSTMの2つのモデルを評価する。
異なる木によって構築された木は、その構造や内容によって異なることを示す。
そして、この多様性がモデルの品質にどのように影響するかを分析する。
論文 参考訳(メタデータ) (2022-06-17T12:10:04Z) - Asyncval: A Toolkit for Asynchronously Validating Dense Retriever
Checkpoints during Training [26.053028706793587]
ディープラーニングチェックポイントを検証するための簡単な戦略は、トレーニング中に実行するバリデーションループの追加である。
密集型レトリバー(DR)チェックポイントの検証はさほど簡単ではなく、バリデーションループの追加は効率的ではない。
トレーニング中のDRチェックポイントを効率的に検証するPythonベースのツールキットであるAsyncvalを提案する。
論文 参考訳(メタデータ) (2022-02-25T06:07:58Z) - ValAsp: a tool for data validation in Answer Set Programming [8.54687239637]
本稿では,ASPプログラムのデータ検証の問題について定式化する。
データバリデーションを指定する言語を導入し、通常のプログラムでデータバリデーションを注入するTextscvalaspを提供する。
論文 参考訳(メタデータ) (2022-02-19T15:45:40Z) - BASE Layers: Simplifying Training of Large, Sparse Models [53.98145464002843]
我々は,大規模言語モデルのための新しいバランスド・アサイン・オブ・エキスパート(base)層を導入する。
スパース層は、各トークンを専門のエキスパートモジュールにルーティングすることで、トレーニングと推論の効率を劇的に改善することができる。
トークン対エキスパート割り当てを線形割り当て問題として定式化し、各専門家が等しいトークン数を受け取る最適な割り当てを可能にする。
論文 参考訳(メタデータ) (2021-03-30T23:08:32Z) - Answering Complex Open-Domain Questions with Multi-Hop Dense Retrieval [117.07047313964773]
複雑なオープンドメインの質問に答えるために, 単純で効率的なマルチホップ高密度検索手法を提案する。
本手法では,文書間ハイパーリンクやアノテートされたエンティティマーカーなど,コーパス固有の情報へのアクセスは不要である。
提案システムでは,HotpotQA上でのベストパブリッシュ精度と,推論時の10倍の速度で,より優れた効率・精度のトレードオフも実現している。
論文 参考訳(メタデータ) (2020-09-27T06:12:29Z) - Improving One-stage Visual Grounding by Recursive Sub-query Construction [102.47477888060801]
長いクエリと複雑なクエリのグラウンド化における現在の制限に対処することで、ワンステージの視覚的グラウンド化を改善する。
我々は,新しい1段階法により,最先端の1段階ベースラインに対して5.0%,4.5%,7.5%,12.8%の絶対改善が得られたことを示す。
論文 参考訳(メタデータ) (2020-08-03T17:43:30Z) - Bootstrap Bias Corrected Cross Validation applied to Super Learning [0.3670422696827526]
超学習者アルゴリズムは、複数のベース学習者の結果を組み合わせて予測の質を向上させることができる。
さまざまなサイズの人工データセットと7つの実バイオメディカルデータセットでテストが行われた。
Bootstrap Bias Correctionと呼ばれる再サンプリング手法は、ネストされたクロスバリデーションに対して、合理的に正確でコスト効率のよい代替手段であることが判明した。
論文 参考訳(メタデータ) (2020-03-18T17:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。