論文の概要: Extracting Multi-valued Relations from Language Models

• arxiv url: http://arxiv.org/abs/2307.03122v2
• Date: Fri, 7 Jul 2023 07:25:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 14:25:37.396224
• Title: Extracting Multi-valued Relations from Language Models
• Title（参考訳）: 言語モデルから多値関係を抽出する
• Authors: Sneha Singhania, Simon Razniewski, Gerhard Weikum
• Abstract要約: 我々は, 潜在言語表現を解析し, 実体化された多目的関係知識を得る可能性について検討する。 候補オブジェクトのランク付けには,既存のプロンプト技術を評価し,ドメイン知識を取り入れた新しい手法を提案する。 選択法のうち、学習された関係性特異しきい値よりも高い確率で対象を選択すると、49.5%のF1スコアが得られる。
• 参考スコア（独自算出の注目度）: 36.944060044138304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread usage of latent language representations via pre-trained language models (LMs) suggests that they are a promising source of structured knowledge. However, existing methods focus only on a single object per subject-relation pair, even though often multiple objects are correct. To overcome this limitation, we analyze these representations for their potential to yield materialized multi-object relational knowledge. We formulate the problem as a rank-then-select task. For ranking candidate objects, we evaluate existing prompting techniques and propose new ones incorporating domain knowledge. Among the selection methods, we find that choosing objects with a likelihood above a learned relation-specific threshold gives a 49.5% F1 score. Our results highlight the difficulty of employing LMs for the multi-valued slot-filling task and pave the way for further research on extracting relational knowledge from latent language representations.
• Abstract（参考訳）: 事前学習言語モデル(lms)による潜在言語表現の普及は、それらが構造化知識の有望な源であることを示唆している。 しかし、既存の手法では、複数のオブジェクトが正しい場合が多いにもかかわらず、対象-関係ペア当たりの1つのオブジェクトにのみフォーカスする。 この制限を克服するために、我々はこれらの表現を分析して、物質化された多目的関係知識を得る。 我々はこの問題をランク選択タスクとして定式化する。 候補オブジェクトのランク付けには,既存のプロンプト技術を評価し,ドメイン知識を取り入れた新しい手法を提案する。 選択法のうち、学習された関係性特異しきい値よりも高い確率で対象を選択すると、49.5%のF1スコアが得られる。 本研究は,多値スロット充足作業におけるlmsの活用の難しさを浮き彫りにし,潜在言語表現から関係知識を抽出するためのさらなる研究の道を開く。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• FineCops-Ref: A new Dataset and Task for Fine-Grained Compositional Referring Expression Comprehension [10.482908189805872]
  Referring Expression (REC) は言語理解能力、画像理解能力、言語と画像の接地能力を客観的に評価する重要なクロスモーダルタスクである。 我々は2つの重要な特徴を特徴とする新しいRECデータセットを構築した。 これには、既存のデータに基づいて微細な編集と生成によって作成された否定的なテキストと画像が含まれる。
  論文  参考訳（メタデータ） (2024-09-23T06:56:51Z)
• Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
  本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。 我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-08-19T17:02:06Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• LISA: Reasoning Segmentation via Large Language Model [68.24075852136761]
  そこで我々は,新たなセグメンテーションタスク,すなわち推論セグメンテーションを提案する。 このタスクは、複雑で暗黙的なクエリテキストを与えられたセグメンテーションマスクを出力するように設計されている。 提案するLISA: Large Language Instructed Assistantは,マルチモーダル大規模言語モデルの言語生成能力を継承する。
  論文  参考訳（メタデータ） (2023-08-01T17:50:17Z)
• Multilingual Entity and Relation Extraction from Unified to Language-specific Training [29.778332361215636]
  エンティティと関係抽出タスクの既存のアプローチは、主に英語のコーパスに焦点を当て、他の言語を無視している。 言語干渉を軽減するために,2段階の多言語学習手法と,Multilingual Entity and Relation extract framework (mERE) と呼ばれるジョイントモデルを提案する。 本手法はモノリンガル法と多言語ベースライン法の両方に優れる。
  論文  参考訳（メタデータ） (2023-01-11T12:26:53Z)
• Efficient Entity Candidate Generation for Low-Resource Languages [13.789451365205665]
  候補生成はエンティティリンクにおいて重要なモジュールである。 知識ベースを効果的に活用することが証明された複数のNLPタスクにおいて重要な役割を果たす。 本稿では,言語間エンティティリンクの文脈における候補生成問題の詳細な分析を行う。
  論文  参考訳（メタデータ） (2022-06-30T09:49:53Z)
• Contrastive Learning with Hard Negative Entities for Entity Set Expansion [29.155036098444008]
  様々なNLPおよびIRアプリケーションは、知識を発見する能力により、ESEの恩恵を受けるだろう。 我々は、エンティティの表現を洗練させるために、コントラスト学習を伴うエンティティレベルのマスキング言語モデルを考案する。 さらに、上記の言語モデルによって得られたエンティティ表現を利用してエンティティを拡張する新しい確率的ESEフレームワークであるProbExpanを提案する。
  論文  参考訳（メタデータ） (2022-04-16T12:26:42Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。