論文の概要: fPLSA: Learning Semantic Structures in Document Collections Using Foundation Models

• arxiv url: http://arxiv.org/abs/2410.05481v1
• Date: Mon, 7 Oct 2024 20:25:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 18:28:00.600052
• Title: fPLSA: Learning Semantic Structures in Document Collections Using Foundation Models
• Title（参考訳）: fPLSA:基礎モデルを用いた文書コレクションにおける意味構造学習
• Authors: Weijia Xu, Nebojsa Jojic, Nicolas Le Roux,
• Abstract要約: 本稿では,基礎モデルに基づく確率的潜在意味解析(PLSA)手法であるfPLSAを紹介する。 PLSAは文書レベルのコンテキストに基づいて文書セグメントを反復的にクラスタしタグ付けする。 ストーリーライティング、数学、多段階推論データセットに関する実験は、fPLSAタグが既存のタグ付け手法よりもオリジナルテキストの再構築に役立つことを示した。
• 参考スコア（独自算出の注目度）: 19.099810900404357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans have the ability to learn new tasks by inferring high-level concepts from existing solution, then manipulating these concepts in lieu of the raw data. Can we automate this process by deriving latent semantic structures in a document collection using foundation models? We introduce fPLSA, a foundation-model-based Probabilistic Latent Semantic Analysis (PLSA) method that iteratively clusters and tags document segments based on document-level contexts. These tags can be used to model the structure of given documents and for hierarchical sampling of new texts. Our experiments on story writing, math, and multi-step reasoning datasets demonstrate that fPLSA tags help reconstruct the original texts better than existing tagging methods. Moreover, when used for hierarchical sampling, fPLSA produces more diverse outputs with a higher likelihood of hitting the correct answer than direct sampling and hierarchical sampling with existing tagging methods.
• Abstract（参考訳）: 人間は、既存のソリューションから高いレベルの概念を推論し、それらの概念を生データの代わりに操作することで、新しいタスクを学ぶことができる。 基礎モデルを用いて文書コレクション内の潜在意味構造を導出することにより、このプロセスを自動化できるだろうか? 本稿では,基盤モデルに基づく確率的潜在意味分析(PLSA)手法であるfPLSAを紹介し,文書レベルのコンテキストに基づいて文書セグメントを反復的にクラスタ化しタグ付けする。 これらのタグは、与えられたドキュメントの構造をモデル化したり、新しいテキストの階層的なサンプリングに使用することができる。 ストーリーライティング、数学、多段階推論データセットに関する実験は、fPLSAタグが既存のタグ付け手法よりもオリジナルテキストの再構築に役立つことを示した。 さらに、階層的サンプリングに使用する場合、fPLSAは、従来のタグ付け手法による直接サンプリングや階層的サンプリングよりも、正しい回答を打つ確率の高い、より多様な出力を生成する。

関連論文リスト

• When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs [64.27273946787344]
  最近のLong-Context Language Modelsは、1つのプロンプトで数十万のトークンを処理することができる。 我々は、従来の問題解決トレースから導かれた再利用可能な思考キャッシュとして、推論をリキャストする。 本稿では,自然言語フィードバックによって学習データから得られるテンプレートを反復的に洗練する更新戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-08T19:52:35Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• DISRetrieval: Harnessing Discourse Structure for Long Document Retrieval [51.89673002051528]
  DISRetrievalは、言語談話構造を利用して長い文書理解を強化する新しい階層的検索フレームワークである。 本研究は,談話構造が文書の長さや問合せの種類によって検索効率を著しく向上することを確認する。
  論文  参考訳（メタデータ） (2025-05-26T14:45:12Z)
• Cequel: Cost-Effective Querying of Large Language Models for Text Clustering [15.179854529085544]
  テキストクラスタリングは、文書の集合を言語的特徴に基づく一貫性のあるグループに自動的に分割することを目的としている。 大規模言語モデル(LLM)の最近の進歩は、高品質な文脈適応型埋め込みを提供することにより、この分野を著しく改善している。 LLMクエリの限られた予算下で正確なテキストクラスタリングを実現するための費用効率のよいフレームワークであるCequelを提案する。
  論文  参考訳（メタデータ） (2025-04-22T06:57:49Z)
• FRASE: Structured Representations for Generalizable SPARQL Query Generation [2.5782420501870296]
  本稿では,FSRL(Frame Semantic Role Labeling)を利用したFRASE(FRAme-based Semantic Enhancement)を提案する。 また、LC-QuAD 2.0から派生した新しいデータセットであるLC-QuAD 3.0について、フレーム検出とフレーム要素の議論へのマッピングを通じて、FRASEを用いて各質問を豊かにする。 フレームベースの構造化表現の統合は、SPARQL生成性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2025-03-28T04:39:52Z)
• New Evaluation Paradigm for Lexical Simplification [15.890439726439276]
  Lexical Simplification (LS)法では、複雑な単語識別、代用生成、代用ランキングという3段階のパイプラインを使用する。 大規模な言語モデル(LLM)は、単一のプロンプトで文を直接単純化し、従来のパイプラインをバイパスできることがわかった。 本稿では,人間と機械の協調によるオールインワンLSデータセット構築のための新しいアノテーション手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T16:31:37Z)
• Text Clustering as Classification with LLMs [9.128151647718251]
  本稿では,大規模言語モデルの文脈内学習機能を活用することで,テキストクラスタリングを分類タスクとして再編成するフレームワークを提案する。 LLMの高度な自然言語理解と一般化機能を活用することで,人間の介入を最小限に抑えた効果的なクラスタリングを実現する。 多様なデータセットに対する実験結果から,我々のフレームワークは,最先端の組込みクラスタリング技術に匹敵する,あるいは優れた性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain [2.3999111269325266]
  大きな言語モデル(LLM)により、ユーザ要求を満たすカスタマイズされたテキスト出力が作成できるようになった。 所望の構造に適合した新しい文書を生成するために,LLMと迅速なエンジニアリングシステム,マルチエージェントシステムを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T13:54:53Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
  文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。 本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
  論文  参考訳（メタデータ） (2021-10-11T08:15:31Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations [0.8203855808943658]
  本研究では,ニューラルセマンティック解析のための合成データ生成の可能性を検討する。 具体的には、まず既存のラベル付き発話からマスク付きテンプレートを抽出し、次に微調整BARTを用いて合成発話条件を生成する。 ナビゲーション領域のためのFacebook TOPデータセットを評価する際に、我々のアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2020-11-03T22:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。