論文の概要: Memorizing Documents with Guidance in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.15996v1
• Date: Sun, 23 Jun 2024 03:12:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 19:33:31.740522
• Title: Memorizing Documents with Guidance in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるガイダンスによる文書の記憶
• Authors: Bumjin Park, Jaesik Choi,
• Abstract要約: トレーニング中の文書記憶を追跡するための文書記憶アーキテクチャを提案する。 提案手法は文書に対する異なるメモリエントリを提供し、文書関連コンテンツを学習された文書関連メモリで生成する。
• 参考スコア（独自算出の注目度）: 21.919661430250798
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training data plays a pivotal role in AI models. Large language models (LLMs) are trained with massive amounts of documents, and their parameters hold document-related contents. Recently, several studies identified content-specific locations in LLMs by examining the parameters. Instead of the post hoc interpretation, we propose another approach. We propose document-wise memory architecture to track document memories in training. The proposed architecture maps document representations to memory entries, which softly mask memories in the forward process of LLMs. Additionally, we propose document guidance loss, which increases the likelihood of text with document memories and reduces the likelihood of the text with the memories of other documents. Experimental results on Wikitext-103-v1 with Pythia-1B show that the proposed methods provide different memory entries for documents and high recall of document-related content in generation with trained document-wise memories.
• Abstract（参考訳）: トレーニングデータは、AIモデルにおいて重要な役割を果たす。 大規模言語モデル(LLM)は大量の文書で訓練され、それらのパラメータは文書に関連する内容を保持する。 近年, LLMにおける内容特異的な位置をパラメーターを用いて同定する研究がいくつか行われている。 ポストホック解釈の代わりに、別のアプローチを提案する。 トレーニング中の文書記憶を追跡するための文書記憶アーキテクチャを提案する。 提案アーキテクチャは、文書表現をメモリエントリにマッピングし、LCMの前方プロセスにおけるメモリをソフトにマスクする。 さらに、文書記憶によるテキストの可能性を増大させ、他の文書の記憶によるテキストの可能性を低下させる文書誘導損失を提案する。 Pythia-1B を用いたWikitext-103-v1 実験の結果,提案手法は文書の異なるメモリエントリを提供し,文書関連コンテンツの高速リコールを実現する。

関連論文リスト

• LayoutLLM: Large Language Model Instruction Tuning for Visually Rich Document Understanding [0.0]
  本稿では,より柔軟な画像文書解析手法であるLayoutLLMを提案する。 画像,テキスト,レイアウト構造を事前学習することで,文書の理解を高める手法が開発されている。 本実験は,文書解析タスクにおけるベースラインモデルの改善を実証する。
  論文  参考訳（メタデータ） (2024-03-21T09:25:24Z)
• Can Large Language Models Recall Reference Location Like Humans? [8.657708519922002]
  本稿では,大規模言語モデルの事前学習期間中に記憶されたパラメータ化知識を活用して,任意の開始位置からの参照文を独立にリコールする方法について検討する。 KILTナレッジセンシティブなタスクの実験では、LLMが様々なタスク形式の参照通路位置を独立にリコールできることが確認されている。
  論文  参考訳（メタデータ） (2024-02-26T20:35:32Z)
• Generative Cross-Modal Retrieval: Memorizing Images in Multimodal Language Models for Retrieval and Beyond [99.73306923465424]
  画像表現にユニークな識別子文字列を割り当てる生成的クロスモーダル検索フレームワークを提案する。 MLLMのイメージを記憶することで,従来の差別的アプローチとは異なる,クロスモーダル検索の新しいパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-02-16T16:31:46Z)
• PDFTriage: Question Answering over Long, Structured Documents [60.96667912964659]
  構造化文書をプレーンテキストとして表現することは、これらの文書をリッチな構造でユーザ精神モデルと矛盾する。 本稿では,構造や内容に基づいて,モデルがコンテキストを検索できるPDFTriageを提案する。 ベンチマークデータセットは,80以上の構造化文書に900以上の人間が生成した質問からなる。
  論文  参考訳（メタデータ） (2023-09-16T04:29:05Z)
• IncDSI: Incrementally Updatable Document Retrieval [32.89218578877908]
  IncDSIは、データセット全体のモデルをトレーニングすることなく、リアルタイムでドキュメントを追加する方法である。 我々は、制約付き最適化問題として文書の追加を定式化し、ネットワークパラメータの変更を最小限に抑える。 私たちのアプローチは、データセット全体のモデルの再トレーニングと競合しています。
  論文  参考訳（メタデータ） (2023-07-19T07:20:30Z)
• Layout-Aware Information Extraction for Document-Grounded Dialogue: Dataset, Method and Demonstration [75.47708732473586]
  視覚的にリッチな文書から構造的知識と意味的知識の両方を抽出するためのレイアウト対応文書レベル情報抽出データセット(LIE)を提案する。 LIEには製品および公式文書の4,061ページから3つの抽出タスクの62kアノテーションが含まれている。 実験の結果、レイアウトはVRDベースの抽出に不可欠であることが示され、システムデモでは、抽出された知識が、ユーザが関心を持っている答えを見つけるのに役立つことも確認されている。
  論文  参考訳（メタデータ） (2022-07-14T07:59:45Z)
• Unified Pretraining Framework for Document Understanding [52.224359498792836]
  文書理解のための統合事前学習フレームワークであるUDocを紹介する。 UDocは、ほとんどのドキュメント理解タスクをサポートするように設計されており、Transformerを拡張してマルチモーダル埋め込みを入力とする。 UDocの重要な特徴は、3つの自己管理的損失を利用して汎用的な表現を学ぶことである。
  論文  参考訳（メタデータ） (2022-04-22T21:47:04Z)
• Towards a Multi-modal, Multi-task Learning based Pre-training Framework for Document Representation Learning [5.109216329453963]
  本稿では,新しい事前学習タスクとして,文書トピックモデリングと文書シャッフル予測を導入する。 本稿では,Longformer ネットワークアーキテクチャをバックボーンとして,複数ページの文書からのマルチモーダル情報をエンド・ツー・エンドで符号化する。
  論文  参考訳（メタデータ） (2020-09-30T05:39:04Z)
• Response-Anticipated Memory for On-Demand Knowledge Integration in Response Generation [45.53516539705227]
  我々は,期待された応答を念頭に,文書記憶を作成することを提案する。 これは教師-学生のフレームワークを使って達成される。 我々のモデルは、CbRタスクの以前の最先端よりも優れています。
  論文  参考訳（メタデータ） (2020-05-13T03:09:58Z)
• LayoutLM: Pre-training of Text and Layout for Document Image Understanding [108.12766816023783]
  スキャンした文書画像間でのテキストとレイアウト情報の相互作用を協調的にモデル化するtextbfLMを提案する。 ドキュメントレベルの事前トレーニングのための単一のフレームワークで、テキストとレイアウトが共同で学習されたのは、これが初めてです。 フォーム理解(70.72から79.27まで)、レセプション理解(94.02から95.24まで)、文書画像分類(93.07から94.42まで)など、いくつかのダウンストリームタスクで新しい最先端の成果を達成する。
  論文  参考訳（メタデータ） (2019-12-31T14:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。