論文の概要: Human-In-The-Loop Document Layout Analysis
- arxiv url: http://arxiv.org/abs/2108.02095v1
- Date: Wed, 4 Aug 2021 14:54:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-05 16:17:11.011832
- Title: Human-In-The-Loop Document Layout Analysis
- Title(参考訳): Human-In-The-Loop Document Layout Analysis
- Authors: Xingjiao Wu, Tianlong Ma, Xin Li, Qin Chen, Liang He
- Abstract要約: 文書レイアウト分析(DLA)は、文書イメージを異なるタイプの領域に分割することを目的としている。
DLAにおけるHuman-in-the-loop(HITL)協調インテリジェンスについて検討する。
我々は,キーサンプル選択法(KSS)を提案し,ハイレベルタスクにおけるキーサンプルの探索を行う。
- 参考スコア(独自算出の注目度): 14.984852332319296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Document layout analysis (DLA) aims to divide a document image into different
types of regions. DLA plays an important role in the document content
understanding and information extraction systems. Exploring a method that can
use less data for effective training contributes to the development of DLA. We
consider a Human-in-the-loop (HITL) collaborative intelligence in the DLA. Our
approach was inspired by the fact that the HITL push the model to learn from
the unknown problems by adding a small amount of data based on knowledge. The
HITL select key samples by using confidence. However, using confidence to find
key samples is not suitable for DLA tasks. We propose the Key Samples Selection
(KSS) method to find key samples in high-level tasks (semantic segmentation)
more accurately through agent collaboration, effectively reducing costs. Once
selected, these key samples are passed to human beings for active labeling,
then the model will be updated with the labeled samples. Hence, we revisited
the learning system from reinforcement learning and designed a sample-based
agent update strategy, which effectively improves the agent's ability to accept
new samples. It achieves significant improvement results in two benchmarks
(DSSE-200 (from 77.1% to 86.3%) and CS-150 (from 88.0% to 95.6%)) by using 10%
of labeled data.
- Abstract(参考訳): 文書レイアウト分析(DLA)は、文書イメージを異なるタイプの領域に分割することを目的としている。
DLAは文書コンテンツ理解と情報抽出システムにおいて重要な役割を果たす。
効果的なトレーニングに少ないデータを使用する方法を模索することは、DLAの開発に寄与する。
DLAにおけるHuman-in-the-loop(HITL)協調インテリジェンスについて検討する。
我々のアプローチは、HITLが知識に基づいて少量のデータを追加することによって、未知の問題から学習するようにモデルを推し進めたという事実に着想を得た。
HITLは、信頼度を用いてキーサンプルを選択する。
しかし、鍵サンプルを見つけるために自信を使うことは、DLAタスクには適していない。
エージェントの協調によって高レベルのタスク(意味的セグメンテーション)のキーサンプルをより正確に見つけ、コストを効果的に削減するキーサンプル選択法を提案する。
選択後、これらのキーサンプルはアクティブなラベル付けのために人間に渡され、ラベル付きサンプルでモデルが更新される。
そこで我々は、強化学習から学習システムを再考し、サンプルベースのエージェント更新戦略を設計し、エージェントが新しいサンプルを受け入れる能力を効果的に改善した。
ラベル付きデータの10%を使用することで、DSSE-200(77.1%から86.3%)とCS-150(88.0%から95.6%)の2つのベンチマークで大幅に改善された。
関連論文リスト
- Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。
このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。
生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
論文 参考訳(メタデータ) (2024-11-21T02:30:53Z) - Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。
LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。
総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2024-11-12T18:57:59Z) - Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳(メタデータ) (2024-06-07T11:37:45Z) - How to Train Data-Efficient LLMs [56.41105687693619]
事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。
Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。
何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
論文 参考訳(メタデータ) (2024-02-15T02:27:57Z) - Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。
データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。
3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
論文 参考訳(メタデータ) (2023-11-14T14:10:40Z) - From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。
我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
論文 参考訳(メタデータ) (2023-08-23T09:45:29Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳(メタデータ) (2021-07-01T09:26:13Z) - Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining
Paradigms [36.04356511882304]
自己教師付き学習(SSL)は、幅広いアプリケーションで有望な結果を示している。
データとタスクの性質について明確な理解が得られていないため、一方のアプローチがもう一方よりも優れている。
論文 参考訳(メタデータ) (2020-06-19T05:21:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。