論文の概要: fLSA: Learning Semantic Structures in Document Collections Using Foundation Models

• arxiv url: http://arxiv.org/abs/2410.05481v2
• Date: Tue, 26 Aug 2025 01:05:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.430958
• Title: fLSA: Learning Semantic Structures in Document Collections Using Foundation Models
• Title（参考訳）: fLSA:基礎モデルを用いた文書コレクションにおける意味構造学習
• Authors: Weijia Xu, Nebojsa Jojic, Nicolas Le Roux,
• Abstract要約: 基礎モデルに基づく潜在意味分析法である fLSA を導入する。 従来のタグ付け手法よりも,fLSAタグの方が原文の再構築に有益であることを示す。
• 参考スコア（独自算出の注目度）: 14.935888855108592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Humans can learn to solve new tasks by inducing high-level strategies from example solutions to similar problems and then adapting these strategies to solve unseen problems. Can we use large language models to induce such high-level structure from example documents or solutions? We introduce fLSA, a foundation-model-based Latent Semantic Analysis method that iteratively clusters and tags document segments based on document-level contexts. These tags can be used to model the latent structure of given documents and for hierarchical sampling of new texts. Our experiments on story writing, math, and multi-step reasoning datasets demonstrate that fLSA tags are more informative in reconstructing the original texts than existing tagging methods. Moreover, when used for hierarchical sampling, fLSA tags help expand the output space in the right directions that lead to correct solutions more often than direct sampling and hierarchical sampling with existing tagging methods. Code: https://github.com/microsoft/fLSA
• Abstract（参考訳）: 人間は、サンプルソリューションから同様の問題への高レベルの戦略を誘導し、これらの戦略を適用して、目に見えない問題を解決することで、新しいタスクの解決を学ぶことができる。 大規模な言語モデルを使って、例文書やソリューションからそのような高レベルな構造を導き出せるだろうか? 文書レベルのコンテキストに基づいて文書セグメントを反復的にクラスタリングしタグ付けする,基礎モデルに基づく潜在意味分析手法である fLSA を紹介する。 これらのタグは、与えられた文書の潜在構造をモデル化したり、新しいテキストの階層的なサンプリングに使用することができる。 ストーリーライティング、数学、多段階推論データセットに関する実験は、fLSAタグが既存のタグ付け手法よりもオリジナルテキストの再構築に有用であることを実証している。 さらに、階層的なサンプリングに使われる場合、fLSAタグは、既存のタグ付け手法による直接サンプリングや階層的なサンプリングよりも、正しい解につながる正しい方向の出力空間を拡大するのに役立つ。 コード:https://github.com/microsoft/fLSA

関連論文リスト

• When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs [64.27273946787344]
  最近のLong-Context Language Modelsは、1つのプロンプトで数十万のトークンを処理することができる。 我々は、従来の問題解決トレースから導かれた再利用可能な思考キャッシュとして、推論をリキャストする。 本稿では,自然言語フィードバックによって学習データから得られるテンプレートを反復的に洗練する更新戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-08T19:52:35Z)
• Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
  Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。 AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。 結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
  論文  参考訳（メタデータ） (2025-07-22T06:37:51Z)
• Large Language Models are Good Relational Learners [55.40941576497973]
  本稿では,グラフニューラルネットワーク(GNN)に基づくエンコーダを用いて,大規模言語モデル(LLM)のための構造化リレーショナルプロンプトを生成する新しいアーキテクチャであるRel-LLMを紹介する。 従来のテキストベースのシリアライズ手法とは異なり,本手法はデータベース固有の関係構造を保ちながら,LLMが複雑なエンティティ関係を処理・推論することを可能にする。
  論文  参考訳（メタデータ） (2025-06-06T04:07:55Z)
• DISRetrieval: Harnessing Discourse Structure for Long Document Retrieval [51.89673002051528]
  DISRetrievalは、言語談話構造を利用して長い文書理解を強化する新しい階層的検索フレームワークである。 本研究は,談話構造が文書の長さや問合せの種類によって検索効率を著しく向上することを確認する。
  論文  参考訳（メタデータ） (2025-05-26T14:45:12Z)
• Cequel: Cost-Effective Querying of Large Language Models for Text Clustering [15.179854529085544]
  テキストクラスタリングは、文書の集合を言語的特徴に基づく一貫性のあるグループに自動的に分割することを目的としている。 大規模言語モデル(LLM)の最近の進歩は、高品質な文脈適応型埋め込みを提供することにより、この分野を著しく改善している。 LLMクエリの限られた予算下で正確なテキストクラスタリングを実現するための費用効率のよいフレームワークであるCequelを提案する。
  論文  参考訳（メタデータ） (2025-04-22T06:57:49Z)
• FRASE: Structured Representations for Generalizable SPARQL Query Generation [2.5782420501870296]
  本稿では,FSRL(Frame Semantic Role Labeling)を利用したFRASE(FRAme-based Semantic Enhancement)を提案する。 また、LC-QuAD 2.0から派生した新しいデータセットであるLC-QuAD 3.0について、フレーム検出とフレーム要素の議論へのマッピングを通じて、FRASEを用いて各質問を豊かにする。 フレームベースの構造化表現の統合は、SPARQL生成性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2025-03-28T04:39:52Z)
• New Evaluation Paradigm for Lexical Simplification [15.890439726439276]
  Lexical Simplification (LS)法では、複雑な単語識別、代用生成、代用ランキングという3段階のパイプラインを使用する。 大規模な言語モデル(LLM)は、単一のプロンプトで文を直接単純化し、従来のパイプラインをバイパスできることがわかった。 本稿では,人間と機械の協調によるオールインワンLSデータセット構築のための新しいアノテーション手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T16:31:37Z)
• Text Clustering as Classification with LLMs [9.128151647718251]
  本稿では,大規模言語モデルの文脈内学習機能を活用することで,テキストクラスタリングを分類タスクとして再編成するフレームワークを提案する。 LLMの高度な自然言語理解と一般化機能を活用することで,人間の介入を最小限に抑えた効果的なクラスタリングを実現する。 多様なデータセットに対する実験結果から,我々のフレームワークは,最先端の組込みクラスタリング技術に匹敵する,あるいは優れた性能を達成できることが示された。
  論文  参考訳（メタデータ） (2024-09-30T16:57:34Z)
• Detection and Measurement of Syntactic Templates in Generated Text [58.111650675717414]
  モデルにおける一般的な反復を特徴付けるための構文的特徴の解析を行う。 モデルでは、下流のタスクにおいて、人間の参照テキストよりも高いレートでテンプレートテキストを生成する傾向にある。
  論文  参考訳（メタデータ） (2024-06-28T19:34:23Z)
• SRFUND: A Multi-Granularity Hierarchical Structure Reconstruction Benchmark in Form Understanding [55.48936731641802]
  階層的に構造化されたマルチタスク形式理解ベンチマークであるSRFUNDを提案する。 SRFUNDはオリジナルのFUNSDとXFUNDデータセットの上に洗練されたアノテーションを提供する。 データセットには、英語、中国語、日本語、ドイツ語、フランス語、スペイン語、イタリア語、ポルトガル語を含む8つの言語が含まれている。
  論文  参考訳（メタデータ） (2024-06-13T02:35:55Z)
• LLM Based Multi-Agent Generation of Semi-structured Documents from Semantic Templates in the Public Administration Domain [2.3999111269325266]
  大きな言語モデル(LLM)により、ユーザ要求を満たすカスタマイズされたテキスト出力が作成できるようになった。 所望の構造に適合した新しい文書を生成するために,LLMと迅速なエンジニアリングシステム,マルチエージェントシステムを組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T13:54:53Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Document-Level Text Simplification: Dataset, Criteria and Baseline [75.58761130635824]
  文書レベルのテキスト単純化の新しいタスクを定義し,検討する。 Wikipediaダンプに基づいて、我々はまずD-Wikipediaという大規模なデータセットを構築した。 本稿では,文書レベルの単純化作業に適したD-SARIと呼ばれる新しい自動評価指標を提案する。
  論文  参考訳（メタデータ） (2021-10-11T08:15:31Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations [0.8203855808943658]
  本研究では,ニューラルセマンティック解析のための合成データ生成の可能性を検討する。 具体的には、まず既存のラベル付き発話からマスク付きテンプレートを抽出し、次に微調整BARTを用いて合成発話条件を生成する。 ナビゲーション領域のためのFacebook TOPデータセットを評価する際に、我々のアプローチの可能性を示す。
  論文  参考訳（メタデータ） (2020-11-03T22:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。