論文の概要: Leveraging Distillation Techniques for Document Understanding: A Case Study with FLAN-T5

• arxiv url: http://arxiv.org/abs/2409.11282v1
• Date: Tue, 17 Sep 2024 15:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 15:57:32.591496
• Title: Leveraging Distillation Techniques for Document Understanding: A Case Study with FLAN-T5
• Title（参考訳）: 文書理解のための蒸留技術を活用したFLAN-T5の事例
• Authors: Marcel Lamott, Muhammad Armaghan Shakir,
• Abstract要約: 本稿では,LLM ChatGPTから文書理解知識をFLAN-T5に抽出する手法を提案する。 本研究は, 実世界のシナリオにおける高度言語モデルの展開を促進する蒸留技術の可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The surge of digital documents in various formats, including less standardized documents such as business reports and environmental assessments, underscores the growing importance of Document Understanding. While Large Language Models (LLMs) have showcased prowess across diverse natural language processing tasks, their direct application to Document Understanding remains a challenge. Previous research has demonstrated the utility of LLMs in this domain, yet their significant computational demands make them challenging to deploy effectively. Additionally, proprietary Blackbox LLMs often outperform their open-source counterparts, posing a barrier to widespread accessibility. In this paper, we delve into the realm of document understanding, leveraging distillation methods to harness the power of large LLMs while accommodating computational limitations. Specifically, we present a novel approach wherein we distill document understanding knowledge from the proprietary LLM ChatGPT into FLAN-T5. Our methodology integrates labeling and curriculum-learning mechanisms to facilitate efficient knowledge transfer. This work contributes to the advancement of document understanding methodologies by offering a scalable solution that bridges the gap between resource-intensive LLMs and practical applications. Our findings underscore the potential of distillation techniques in facilitating the deployment of sophisticated language models in real-world scenarios, thereby fostering advancements in natural language processing and document comprehension domains.
• Abstract（参考訳）: ビジネスレポートや環境アセスメントなど、標準化されていないドキュメントを含む様々な形式のデジタルドキュメントの急増は、ドキュメント理解の重要性の高まりを浮き彫りにしている。 Large Language Models (LLMs) は様々な自然言語処理タスクにまたがっているが、Document Understandingへの直接の応用は依然として課題である。 これまでの研究では、この領域におけるLLMの有用性が実証されているが、その大きな計算要求は、効果的にデプロイすることを困難にしている。 さらに、プロプライエタリなBlackbox LLMはオープンソースよりも優れており、幅広いアクセシビリティの障壁となっている。 本稿では,大容量LLMのパワーを生かし,計算限界を調節しながら,蒸留法を利用して文書理解の領域を掘り下げる。 具体的には,LLM ChatGPTから文書理解知識をFLAN-T5に抽出する手法を提案する。 本手法は,効果的な知識伝達を促進するために,ラベリングとカリキュラム学習機構を統合している。 本研究は,資源集約型LCMと実用アプリケーションとのギャップを埋めるスケーラブルなソリューションを提供することにより,文書理解手法の進歩に寄与する。 本研究は, 実世界のシナリオにおける高度言語モデルの展開を促進する蒸留技術の可能性を明らかにし, 自然言語処理や文書理解領域の進歩を促進することを目的とした。

関連論文リスト

• DocKD: Knowledge Distillation from LLMs for Open-World Document Understanding Models [66.91204604417912]
  本研究の目的は,LLMの知識を蒸留することにより,小型VDUモデルの一般化性を高めることである。 我々は、外部文書知識を統合することでデータ生成プロセスを強化する新しいフレームワーク(DocKD)を提案する。 実験の結果,DocKDは高品質な文書アノテーションを生成し,直接知識蒸留手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-10-04T00:53:32Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• A Reality check of the benefits of LLM in business [1.9181612035055007]
  大規模言語モデル(LLM)は、言語理解および生成タスクにおいて顕著なパフォーマンスを達成した。 ビジネスプロセスにおけるLCMの有用性と準備性について概説する。
  論文  参考訳（メタデータ） (2024-06-09T02:36:00Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• From Understanding to Utilization: A Survey on Explainability for Large Language Models [27.295767173801426]
  この調査は、Large Language Models (LLMs) における説明可能性の向上を示唆している。 主に、トレーニング済みの Transformer ベースの LLM に重点を置いています。 説明可能性の活用を考える際に、モデル編集、制御生成、モデル拡張に集中するいくつかの魅力的な方法を検討する。
  論文  参考訳（メタデータ） (2024-01-23T16:09:53Z)
• Large Language Models for Generative Information Extraction: A Survey [89.71273968283616]
  大規模言語モデル(LLM)は、テキスト理解と生成において顕著な能力を示した。 各種IEサブタスクと技術の観点から,これらの作品を分類して概観する。 我々は,最も先進的な手法を実証的に分析し,LLMによるIEタスクの出現傾向を明らかにする。
  論文  参考訳（メタデータ） (2023-12-29T14:25:22Z)
• LMDX: Language Model-based Document Information Extraction and Localization [23.656970495804963]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした 視覚的に豊かな文書から情報を抽出する彼らの応用は、まだ成功していない。 このタスクにLLMを採用する主な障害は、LLM内にレイアウトエンコーディングがないことである。
  論文  参考訳（メタデータ） (2023-09-19T22:32:56Z)
• Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond [48.70557995528463]
  このガイドは、研究者や実践者が大規模言語モデルを扱うための貴重な洞察とベストプラクティスを提供することを目的としている。 実世界のシナリオにおける LLM の実用的応用と限界を説明するために, 様々なユースケースと非利用事例を提示する。
  論文  参考訳（メタデータ） (2023-04-26T17:52:30Z)
• A Survey of Deep Learning Approaches for OCR and Document Understanding [68.65995739708525]
  我々は、英語で書かれた文書の文書理解のための様々な手法をレビューする。 文献に現れる方法論を集約し,この領域を探索する研究者の跳躍点として機能させる。
  論文  参考訳（メタデータ） (2020-11-27T03:05:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。