論文の概要: HYCEDIS: HYbrid Confidence Engine for Deep Document Intelligence System

• arxiv url: http://arxiv.org/abs/2206.02628v1
• Date: Wed, 1 Jun 2022 09:57:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-12 21:17:52.004265
• Title: HYCEDIS: HYbrid Confidence Engine for Deep Document Intelligence System
• Title（参考訳）: hycedis:deep document intelligenceシステムのためのハイブリッド信頼性エンジン
• Authors: Bao-Sinh Nguyen, Quang-Bach Tran, Tuan-Anh Nguyen Dang, Duc Nguyen, Hung Le
• Abstract要約: 本稿では,文書情報抽出作業における現在のディープラーニングモデルの信頼度を測定するための,完全かつ斬新なアーキテクチャを提案する。 本アーキテクチャは,マルチモーダル・コンフォーマル予測器と変分クラスタ指向異常検出器から構成される。 我々は,本アーキテクチャを実世界のデータセット上で評価し,競合する信頼度推定器を巨大なマージンで上回るだけでなく,分布外データに対する一般化能力を示す。
• 参考スコア（独自算出の注目度）: 16.542137414609602
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Measuring the confidence of AI models is critical for safely deploying AI in real-world industrial systems. One important application of confidence measurement is information extraction from scanned documents. However, there exists no solution to provide reliable confidence score for current state-of-the-art deep-learning-based information extractors. In this paper, we propose a complete and novel architecture to measure confidence of current deep learning models in document information extraction task. Our architecture consists of a Multi-modal Conformal Predictor and a Variational Cluster-oriented Anomaly Detector, trained to faithfully estimate its confidence on its outputs without the need of host models modification. We evaluate our architecture on real-wold datasets, not only outperforming competing confidence estimators by a huge margin but also demonstrating generalization ability to out-of-distribution data.
• Abstract（参考訳）: AIモデルの信頼性を測定することは、現実の産業システムにAIを安全にデプロイするために重要である。 信頼度測定の1つの重要な応用は、スキャンされた文書から情報抽出である。 しかし,現在最先端の深層学習情報抽出器に信頼性スコアを提供する方法はない。 本稿では,文書情報抽出タスクにおける現在のディープラーニングモデルの信頼度を測定するための,完全かつ新しいアーキテクチャを提案する。 我々のアーキテクチャはマルチモーダル・コンフォーマル予測器と変分クラスタ指向異常検出器から構成されており、ホストモデルの変更を必要とせず、その出力に対する信頼性を忠実に見積もるように訓練されている。 我々は,本アーキテクチャを実世界のデータセット上で評価し,競合する信頼度推定器を巨大なマージンで上回るだけでなく,分布外データに対する一般化能力を示す。

関連論文リスト

• Out-of-Distribution Detection with Attention Head Masking for Multimodal Document Classification [3.141006099594433]
  本稿では,文書分類システムにおける多モードOODタスクに対するアテンションヘッドマスキング(AHM)と呼ばれる新しい手法を提案する。 実験により,提案手法がすべての最先端手法より優れていることを示す。 高品質な公開可能なドキュメントデータセットの不足に対処するために、新しいドキュメントAIデータセットであるFunderDocsを紹介します。
  論文  参考訳（メタデータ） (2024-08-20T23:30:00Z)
• Confidence-Aware Sub-Structure Beam Search (CABS): Mitigating Hallucination in Structured Data Generation with Large Language Models [6.099774114286838]
  LLM(Large Language Models)における信頼度推定手法は主に、個々のトークンレベルや出力シーケンスレベル全体の信頼度に重点を置いている。 本稿では、構造化データ生成におけるサブ構造レベルで動作する新しい復号法である、信頼性対応サブ構造ビームサーチ(CABS)を提案する。 その結果、CABSは、製品属性生成の問題で平均90%の精度で、構造化データ生成における従来のトークンレベルのビーム探索を16.7%リコールした。
  論文  参考訳（メタデータ） (2024-05-30T18:21:05Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• A Confidence-based Partial Label Learning Model for Crowd-Annotated Named Entity Recognition [74.79785063365289]
  名前付きエンティティ認識(NER)のための既存のモデルは、主に大規模ラベル付きデータセットに基づいている。 我々は,クラウドアノテートNERに対する先行信頼度(アノテータによる提案)と後続信頼度(モデルによる学習)を統合するために,信頼に基づく部分ラベル学習(CPLL)手法を提案する。
  論文  参考訳（メタデータ） (2023-05-21T15:31:23Z)
• Federated Learning with Unreliable Clients: Performance Analysis and Mechanism Design [76.29738151117583]
  Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。 しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。 クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
  論文  参考訳（メタデータ） (2021-05-10T08:02:27Z)
• An evaluation of word-level confidence estimation for end-to-end automatic speech recognition [70.61280174637913]
  エンドツーエンド自動音声認識(ASR)における信頼度推定の検討 4つのよく知られた音声データセットにおける信頼度手法の広範なベンチマークを提供する。 以上の結果から,ロジットを学習温度でスケーリングすることで,強いベースラインが得られることが示唆された。
  論文  参考訳（メタデータ） (2021-01-14T09:51:59Z)
• Confidence Estimation via Auxiliary Models [47.08749569008467]
  モデル信頼のための新しいターゲット基準、すなわち真のクラス確率(TCP)を紹介します。 標準最大クラス確率 (MCP) よりも TCP が信頼度推定に優れた特性を提供することを示す。
  論文  参考訳（メタデータ） (2020-12-11T17:21:12Z)
• Trustworthy AI [75.99046162669997]
  入力データの小さな敵対的変化への脆さ、決定の説明能力、トレーニングデータのバイアスに対処する能力は、最も顕著な制限である。 我々は,AIシステムに対するユーザおよび公的な信頼を高める上での6つの重要な問題に対処するために,信頼に値するAIに関するチュートリアルを提案する。
  論文  参考訳（メタデータ） (2020-11-02T20:04:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。