論文の概要: Improving Document Image Understanding with Reinforcement Finetuning

• arxiv url: http://arxiv.org/abs/2209.12561v1
• Date: Mon, 26 Sep 2022 10:27:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 15:29:28.341400
• Title: Improving Document Image Understanding with Reinforcement Finetuning
• Title（参考訳）: 強化微調整による文書画像理解の改善
• Authors: Bao-Sinh Nguyen, Dung Tien Le, Hieu M. Vu, Tuan Anh D. Nguyen, Minh-Tien Nguyen, Hung Le
• Abstract要約: 本稿では,人工知能システムの性能向上のために,強化学習を用いた新しいファインタニング手法を提案する。 ラベルと専門家のフィードバックを用いた4つのデータセットの実験により、我々の微調整機構は、最先端情報抽出器の性能を一貫して改善することを示した。
• 参考スコア（独自算出の注目度）: 16.136621324607592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successful Artificial Intelligence systems often require numerous labeled data to extract information from document images. In this paper, we investigate the problem of improving the performance of Artificial Intelligence systems in understanding document images, especially in cases where training data is limited. We address the problem by proposing a novel finetuning method using reinforcement learning. Our approach treats the Information Extraction model as a policy network and uses policy gradient training to update the model to maximize combined reward functions that complement the traditional cross-entropy losses. Our experiments on four datasets using labels and expert feedback demonstrate that our finetuning mechanism consistently improves the performance of a state-of-the-art information extractor, especially in the small training data regime.
• Abstract（参考訳）: 成功した人工知能システムは、しばしば文書画像から情報を抽出するために多くのラベル付きデータを必要とする。 本稿では,特にトレーニングデータに制限がある場合の文書画像理解における人工知能システムの性能向上の問題について検討する。 本稿では,強化学習を用いた新しい微調整手法を提案する。 提案手法は,情報抽出モデルを政策ネットワークとして扱い,従来のクロスエントロピー損失を補完する報酬関数を最大化するために,ポリシー勾配学習を用いてモデルを更新する。 ラベルと専門家のフィードバックを用いた4つのデータセットに関する実験により、我々の微調整機構は、特に小さな訓練データ体制において、最先端の情報抽出器の性能を一貫して改善することを示した。

関連論文リスト

• Iterative Ensemble Training with Anti-Gradient Control for Mitigating Memorization in Diffusion Models [20.550324116099357]
  拡散モデルは、新規で高品質なサンプルを生成できることで知られている。 最近のメモリ緩和手法は、クロスモーダル生成タスクにおけるテキストモダリティ問題にのみ焦点をあてるか、あるいはデータ拡張戦略を利用するかのどちらかである。 本稿では,視覚的モダリティの観点からの拡散モデルのための新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-22T02:19:30Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
  動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。 本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。 本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-09-26T01:30:43Z)
• Improving Question Answering Performance Using Knowledge Distillation and Active Learning [6.380750645368325]
  本稿では,事前学習したBERTシステムのパラメータとモデル複雑性を低減するために,新しい知識蒸留(KD)手法を提案する。 本モデルでは,TinyBERTとDistilBERTの合計パラメータの2%しか使用せず,6層TinyBERTとDistilBERTの性能を実証する。
  論文  参考訳（メタデータ） (2021-09-26T17:49:54Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• The Dilemma Between Data Transformations and Adversarial Robustness for Time Series Application Systems [1.2056495277232115]
  アドリシャルな例、あるいは攻撃者が生成したほぼ区別できない入力は、機械学習の精度を著しく低下させる。 この研究は、データ変換が、リカレントニューラルネットワーク上で効果的な敵サンプルを作成する敵の能力にどのように影響するかを考察する。 データ変換技術は、データセットの本質的な次元を近似した場合のみ、逆例に対する脆弱性を低減する。
  論文  参考訳（メタデータ） (2020-06-18T22:43:37Z)
• Privileged Information Dropout in Reinforcement Learning [56.82218103971113]
  トレーニング中に特権情報を使用することで、機械学習システムのサンプル効率とパフォーマンスを向上させることができる。 本研究では,価値に基づく強化学習アルゴリズムとポリシーに基づく強化学習アルゴリズムに等しく適用可能なプライヴィレグ情報ドロップアウト(pid)について検討する。
  論文  参考訳（メタデータ） (2020-05-19T05:32:33Z)
• The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes [6.419457653976053]
  データ・スターベド・レシエーションを持つドメインに対する転送学習のユースケースについて述べる。 畳み込み特徴抽出と微調整の有効性を評価する。 我々はトランスファーラーニングがCNNアーキテクチャの性能を向上させることを結論付けている。
  論文  参考訳（メタデータ） (2020-02-29T18:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。