論文の概要: An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data

• arxiv url: http://arxiv.org/abs/2503.07303v1
• Date: Mon, 10 Mar 2025 13:24:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:49:50.700142
• Title: An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data
• Title（参考訳）: テキストデータにおけるフォーミュラクラスタの同定のための情報理論的アプローチ
• Authors: Gideon Yoffe, Yair Segev, Barak Sober,
• Abstract要約: フォーミュラテキストは繰り返しと制約された表現によって特徴づけられ、自己情報の変動性が低い傾向にある。 本研究の目的は,反復句,構文構造,スタイルマーカーを解析することにより,定式的クラスタを同定することである。 重み付き自己情報分布を利用してテキスト中の構造化パターンを検出する情報理論アルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 2.977406733413627
• License:
• Abstract: Texts, whether literary or historical, exhibit structural and stylistic patterns shaped by their purpose, authorship, and cultural context. Formulaic texts, characterized by repetition and constrained expression, tend to have lower variability in self-information compared to more dynamic compositions. Identifying such patterns in historical documents, particularly multi-author texts like the Hebrew Bible provides insights into their origins, purpose, and transmission. This study aims to identify formulaic clusters -- sections exhibiting systematic repetition and structural constraints -- by analyzing recurring phrases, syntactic structures, and stylistic markers. However, distinguishing formulaic from non-formulaic elements in an unsupervised manner presents a computational challenge, especially in high-dimensional textual spaces where patterns must be inferred without predefined labels. To address this, we develop an information-theoretic algorithm leveraging weighted self-information distributions to detect structured patterns in text, unlike covariance-based methods, which become unstable in small-sample, high-dimensional settings, our approach directly models variations in self-information to identify formulaicity. By extending classical discrete self-information measures with a continuous formulation based on differential self-information, our method remains applicable across different types of textual representations, including neural embeddings under Gaussian priors. Applied to hypothesized authorial divisions in the Hebrew Bible, our approach successfully isolates stylistic layers, providing a quantitative framework for textual stratification. This method enhances our ability to analyze compositional patterns, offering deeper insights into the literary and cultural evolution of texts shaped by complex authorship and editorial processes.
• Abstract（参考訳）: 文学的、歴史的を問わず、テクストは、その目的、著者、文化的な文脈によって形作られた構造的・様式的なパターンを示す。 フォーミュラテキストは、反復と制約された表現によって特徴づけられるが、よりダイナミックな構成に比べて、自己情報の変動性が低い傾向にある。 歴史的文書、特にヘブライ語聖書のような多著者のテキストでそのようなパターンを識別することは、その起源、目的、伝達に関する洞察を与える。 本研究の目的は, 繰り返し句, 構文構造, 様式的マーカーを解析することにより, 体系的反復と構造的制約を示す部分の定式的クラスタを同定することである。 しかし、非形式的要素と非形式的要素を区別することは、特に事前に定義されたラベルなしでパターンを推論しなければならない高次元テキスト空間において、計算上の課題となる。 これを解決するために,重み付き自己情報分布を利用してテキスト中の構造化パターンを検出する情報理論アルゴリズムを開発した。 従来の離散的自己情報尺度を微分自己情報に基づく連続的な定式化で拡張することにより,本手法はガウス的先行条件下での神経埋め込みを含む,さまざまな種類のテキスト表現に適用可能である。 ヘブライ語聖書の著者の仮説的区分に応用して,本手法は文体層を分離し,テキスト層化の定量的枠組みを提供する。 本手法は、複雑な著者や編集プロセスによって形成された文の文学的・文化的進化に関する深い洞察を提供するとともに、構成パターンの分析能力を高める。

関連論文リスト

• Semantic-Driven Topic Modeling Using Transformer-Based Embeddings and Clustering Algorithms [6.349503549199403]
  本研究は,トピック抽出プロセスのための革新的エンド・ツー・エンドのセマンティクス駆動トピックモデリング手法を提案する。 本モデルは,事前学習したトランスフォーマーベース言語モデルを用いて文書埋め込みを生成する。 ChatGPTや従来のトピックモデリングアルゴリズムと比較して、我々のモデルはより一貫性があり有意義なトピックを提供する。
  論文  参考訳（メタデータ） (2024-09-30T18:15:31Z)
• Pointer-Guided Pre-Training: Infusing Large Language Models with Paragraph-Level Contextual Awareness [3.2925222641796554]
  ポインター誘導セグメントオーダリング(SO)は,段落レベルのテキスト表現の文脈的理解を高めることを目的とした,新しい事前学習手法である。 実験の結果,ポインタ誘導型事前学習は複雑な文書構造を理解する能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-06T15:17:51Z)
• Detecting Statements in Text: A Domain-Agnostic Few-Shot Solution [1.3654846342364308]
  最先端のアプローチは通常、作成にコストがかかる大規模な注釈付きデータセット上の微調整モデルを含む。 本稿では,クレームに基づくテキスト分類タスクの共通パラダイムとして,定性的で多目的な少ショット学習手法の提案とリリースを行う。 本手法は,気候変動対策,トピック/スタンス分類,うつ病関連症状検出の3つの課題の文脈で説明する。
  論文  参考訳（メタデータ） (2024-05-09T12:03:38Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Improve Discourse Dependency Parsing with Contextualized Representations [28.916249926065273]
  本稿では,異なるレベルの単位の文脈化表現を符号化するトランスフォーマーの活用を提案する。 記事間で共通に共有される記述パターンの観察に動機付けられ,談話関係の識別をシーケンスラベリングタスクとして扱う新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-05-04T14:35:38Z)
• Contrastive Learning for Neural Topic Model [14.65513836956786]
  敵対的トピックモデル(ATM)は、文書を別の異なるサンプルと区別することで、文書の意味パターンをうまくキャプチャすることができる。 最適化問題として識別目標を再定式化するための新しい手法を提案し,新しいサンプリング手法を設計する。 実験の結果、我々のフレームワークは3つの一般的なベンチマークデータセットにおいて、他の最先端のニューラルトピックモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-10-25T09:46:26Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Neural Deepfake Detection with Factual Structure of Text [78.30080218908849]
  テキストのディープフェイク検出のためのグラフベースモデルを提案する。 我々のアプローチは、ある文書の事実構造をエンティティグラフとして表現する。 本モデルでは,機械生成テキストと人文テキストの事実構造の違いを識別することができる。
  論文  参考訳（メタデータ） (2020-10-15T02:35:31Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。