論文の概要: Exploring Graph Representations of Logical Forms for Language Modeling

• arxiv url: http://arxiv.org/abs/2505.14523v1
• Date: Tue, 20 May 2025 15:46:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.536371
• Title: Exploring Graph Representations of Logical Forms for Language Modeling
• Title（参考訳）: 言語モデリングのための論理形式グラフ表現の探索
• Authors: Michael Sullivan,
• Abstract要約: 本稿では,グラフに基づく形式論理分布意味論(GFoLDS)のプロトタイプについて紹介する。 LFLMがそのようなモデルに固有の基本的な言語知識を組み込んで、より複雑なパターンを即座に学習できるという、強力な実験的な証拠を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We make the case for language models over logical forms (LFLMs), arguing that such models are more data-efficient than their textual counterparts. To that end, we introduce the Graph-based Formal-Logical Distributional Semantics (GFoLDS) prototype, a pretrained LM over graph representations of logical forms, as a proof-of-concept of LFLMs. Using GFoLDS, we present strong experimental evidence that LFLMs can leverage the built-in, basic linguistic knowledge inherent in such models to immediately begin learning more complex patterns. On downstream tasks, we show that GFoLDS vastly outperforms textual, transformer LMs pretrained on similar amounts of data, indicating that LFLMs can learn with substantially less data than models over plain text. Furthermore, we show that the performance of this model is likely to scale with additional parameters and pretraining data, suggesting the viability of LFLMs in real-world applications.
• Abstract（参考訳）: 論理形式(LFLM)よりも言語モデルに当てはまり、そのようなモデルはテキストモデルよりもデータ効率が高いと論じる。 そこで我々は,論理形式のグラフ表現に対する事前学習型LMであるGFoLDS (Graph-based Formal-Logical Distributional Semantics) のプロトタイプを,LFLMの概念実証として紹介した。 GFoLDSを用いて, LFLMがそのようなモデルに固有の基本的な言語知識を組み込んで, より複雑なパターンを即座に学習できることを示す。 下流タスクにおいて、GFoLDSは、類似した量のデータに基づいて事前訓練されたテキストトランスフォーマーLMを著しく上回り、LFLMは普通のテキスト上のモデルよりもかなり少ないデータで学習できることを示す。 さらに,本モデルの性能はパラメータの追加や事前学習によって向上し,実世界のアプリケーションにおけるLFLMの実現可能性も示唆する。

関連論文リスト

• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Strategies for Improving NL-to-FOL Translation with LLMs: Data Generation, Incremental Fine-Tuning, and Verification [9.36179617282876]
  GPT-4o を用いて ProofWriter データセットの高品質な FOL アノテーション付きサブセットを作成する。 本稿では,LLaMA-2およびMistralモデル上でProofFOLを用いたProofWriterおよびProntoQAデータセットの最先端性能を示す。
  論文  参考訳（メタデータ） (2024-09-24T21:24:07Z)
• Data Science with LLMs and Interpretable Models [19.4969442162327]
  大きな言語モデル(LLM)は解釈可能なモデルを扱うのに非常に適しています。 LLMはGAM(Generalized Additive Models)を記述、解釈、デバッグできることを示す。
  論文  参考訳（メタデータ） (2024-02-22T12:04:15Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Enhancing Knowledge Graph Construction Using Large Language Models [0.0]
  本稿では,ChatGPTのような基礎LPMの現在の進歩を,REBELのような特定の事前学習モデルと比較し,結合実体と関係抽出について述べる。 生テキストから知識グラフを自動生成するためのパイプラインを作成し,高度なLCMモデルを用いることで,非構造化テキストからこれらのグラフを作成するプロセスの精度が向上することを示した。
  論文  参考訳（メタデータ） (2023-05-08T12:53:06Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。