Fugu-MT 論文翻訳(概要): On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models

論文の概要: On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models

arxiv url: http://arxiv.org/abs/2310.07818v3
Date: Tue, 6 Feb 2024 02:24:53 GMT
ステータス: 処理完了
システム内更新日: 2024-02-07 20:01:28.979016
Title: On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models
Title（参考訳）: 大言語モデルにおける文のアナロジー同定と文構造符号化の関係について
Authors: Thilini Wijesiriwardene, Ruwan Wickramarachchi, Aishwarya Naresh Reganti, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das
Abstract要約: 文の類似を捕捉するLarge Language Modelsの能力は,構文構造と意味構造をエンコードする能力によってどのように異なるかを検討する。構文構造をよりよく捉えたLLMは,文の類似を識別する能力も高いことがわかった。
参考スコア（独自算出の注目度）: 7.716762867270514
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: The ability of Large Language Models (LLMs) to encode syntactic and semantic structures of language is well examined in NLP. Additionally, analogy identification, in the form of word analogies are extensively studied in the last decade of language modeling literature. In this work we specifically look at how LLMs' abilities to capture sentence analogies (sentences that convey analogous meaning to each other) vary with LLMs' abilities to encode syntactic and semantic structures of sentences. Through our analysis, we find that LLMs' ability to identify sentence analogies is positively correlated with their ability to encode syntactic and semantic structures of sentences. Specifically, we find that the LLMs which capture syntactic structures better, also have higher abilities in identifying sentence analogies.
Abstract（参考訳）: 言語の構文構造と意味構造を符号化するLarge Language Models (LLMs) の能力をNLPでよく検討した。さらに、同義語識別は、言語モデリング文学の過去10年間に、単語類似の形で広く研究されている。本研究は,文の構文的・意味的構造をエンコードするllmsの能力と,文の類似性(類似した意味を相互に伝達する意味)がどのように異なるかを検討する。分析の結果,LLMの文類似を識別する能力は,文の構文的・意味的構造を符号化する能力と正の相関が認められた。特に,構文構造をよりよく捉えたllmは,文の類似性を識別する能力も高いことが判明した。

関連論文リスト

Large Language Models as Neurolinguistic Subjects: Identifying Internal Representations for Form and Meaning [49.60849499134362]
本研究では,大言語モデル(LLM)の記号化(形式)および記号化(意味)に関する言語的理解について検討する。伝統的な精神言語学的評価は、しばしばLSMの真の言語能力を誤って表現する統計バイアスを反映している。ミニマルペアと診断プローブを組み合わせてモデル層間のアクティベーションパターンを解析する新しい手法を用いて,ニューロ言語学的アプローチを提案する。
論文参考訳（メタデータ） (2024-11-12T04:16:44Z)
Semantic Structure-Mapping in LLM and Human Analogical Reasoning [14.412456982731467]
アナロジカル推論は人間の学習と認知の中核であると考えられている。近年の研究では、抽象的なシンボル操作タスクにおいて、人体の類似推論能力とLLM(Large Language Models)を比較している。言語を非言語的領域にリンクする類似性を引き出す能力は、言語習得とより広範な認知発達において重要な役割を担っていると考えられている。
論文参考訳（メタデータ） (2024-06-19T20:07:37Z)
How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
論文参考訳（メタデータ） (2024-01-11T09:27:50Z)
StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding [72.38872974837462]
大規模ストーリーレベルの類似語コーパスを構築することにより,類似語を識別・生成する能力を評価する。 textscStory Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張された構造マッピング理論の2つの類似点に人間のアノテーションがある。我々は、textscStory Analogyのデータは、大言語モデルにおけるアナログ生成の品質を向上させることができることを観察した。
論文参考訳（メタデータ） (2023-10-19T16:29:23Z)
Why Do We Need Neuro-symbolic AI to Model Pragmatic Analogies? [6.8107181513711055]
知性の目印は、慣れ親しんだドメインを使用して、アナログ推論として知られる、あまり親しみのないドメインについての推論を行う能力である。語彙的類推,構文的類推,意味的類推,実用的類推の4つの異なるレベルにおける類推について論じる。我々は、統計とシンボルAIを組み合わせたニューロシンボリックAI技術を採用し、構造化されていないテキストの表現を通知し、関連コンテンツを強調し、拡張し、抽象化を提供し、マッピングプロセスを導く。
論文参考訳（メタデータ） (2023-08-02T21:13:38Z)
ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation [59.91139600152296]
ParaAMRは、抽象的な表現のバックトランスレーションによって生成される、大規模な構文的に多様なパラフレーズデータセットである。そこで本研究では,ParaAMRを用いて文の埋め込み学習,構文的に制御されたパラフレーズ生成,数ショット学習のためのデータ拡張という,3つのNLPタスクを改善することができることを示す。
論文参考訳（メタデータ） (2023-05-26T02:27:33Z)
ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
論文参考訳（メタデータ） (2023-05-10T09:03:01Z)
ANALOGICAL -- A Novel Benchmark for Long Text Analogy Evaluation in Large Language Models [1.4546044532817048]
ANALOGICALは、大規模言語モデルを本質的に評価する新しいベンチマークである。以上の結果から, LLM が類型分類に進出する際, 類型分類を識別することがますます困難になっていることが明らかとなった。
論文参考訳（メタデータ） (2023-05-08T21:12:20Z)
Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
論文参考訳（メタデータ） (2021-09-30T10:38:38Z)
A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
論文参考訳（メタデータ） (2020-05-29T18:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。