論文の概要: fPLSA: Learning Semantic Structures in Document Collections Using Foundation Models

• arxiv url: http://arxiv.org/abs/2410.05481v1
• Date: Mon, 7 Oct 2024 20:25:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 18:28:00.600052
• Title: fPLSA: Learning Semantic Structures in Document Collections Using Foundation Models
• Title（参考訳）: fPLSA:基礎モデルを用いた文書コレクションにおける意味構造学習
• Authors: Weijia Xu, Nebojsa Jojic, Nicolas Le Roux,
• Abstract要約: 本稿では,基礎モデルに基づく確率的潜在意味解析(PLSA)手法であるfPLSAを紹介する。 PLSAは文書レベルのコンテキストに基づいて文書セグメントを反復的にクラスタしタグ付けする。 ストーリーライティング、数学、多段階推論データセットに関する実験は、fPLSAタグが既存のタグ付け手法よりもオリジナルテキストの再構築に役立つことを示した。
• 参考スコア（独自算出の注目度）: 19.099810900404357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans have the ability to learn new tasks by inferring high-level concepts from existing solution, then manipulating these concepts in lieu of the raw data. Can we automate this process by deriving latent semantic structures in a document collection using foundation models? We introduce fPLSA, a foundation-model-based Probabilistic Latent Semantic Analysis (PLSA) method that iteratively clusters and tags document segments based on document-level contexts. These tags can be used to model the structure of given documents and for hierarchical sampling of new texts. Our experiments on story writing, math, and multi-step reasoning datasets demonstrate that fPLSA tags help reconstruct the original texts better than existing tagging methods. Moreover, when used for hierarchical sampling, fPLSA produces more diverse outputs with a higher likelihood of hitting the correct answer than direct sampling and hierarchical sampling with existing tagging methods.
• Abstract（参考訳）: 人間は、既存のソリューションから高いレベルの概念を推論し、それらの概念を生データの代わりに操作することで、新しいタスクを学ぶことができる。 基礎モデルを用いて文書コレクション内の潜在意味構造を導出することにより、このプロセスを自動化できるだろうか? 本稿では,基盤モデルに基づく確率的潜在意味分析(PLSA)手法であるfPLSAを紹介し,文書レベルのコンテキストに基づいて文書セグメントを反復的にクラスタ化しタグ付けする。 これらのタグは、与えられたドキュメントの構造をモデル化したり、新しいテキストの階層的なサンプリングに使用することができる。 ストーリーライティング、数学、多段階推論データセットに関する実験は、fPLSAタグが既存のタグ付け手法よりもオリジナルテキストの再構築に役立つことを示した。 さらに、階層的サンプリングに使用する場合、fPLSAは、従来のタグ付け手法による直接サンプリングや階層的サンプリングよりも、正しい回答を打つ確率の高い、より多様な出力を生成する。

関連論文リスト

• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain [2.3999111269325266]
  大きな言語モデル(LLM)により、ユーザ要求を満たすカスタマイズされたテキスト出力が作成できるようになった。 所望の構造に適合した新しい文書を生成するために,LLMと迅速なエンジニアリングシステム,マルチエージェントシステムを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T13:54:53Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
  文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。 本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
  論文  参考訳（メタデータ） (2021-10-11T08:15:31Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations [0.8203855808943658]
  本研究では,ニューラルセマンティック解析のための合成データ生成の可能性を検討する。 具体的には、まず既存のラベル付き発話からマスク付きテンプレートを抽出し、次に微調整BARTを用いて合成発話条件を生成する。 ナビゲーション領域のためのFacebook TOPデータセットを評価する際に、我々のアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2020-11-03T22:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。