論文の概要: How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering

• arxiv url: http://arxiv.org/abs/2401.05777v2
• Date: Thu, 13 Jun 2024 22:56:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:24:01.424032
• Title: How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering
• Title（参考訳）: 形式言語における大規模言語モデルはいかに熟練しているか : 知識ベース質問応答の深い洞察
• Authors: Jinxin Liu, Shulin Cao, Jiaxin Shi, Tingjian Zhang, Lunyiu Nie, Linmei Hu, Lei Hou, Juanzi Li,
• Abstract要約: 知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
• 参考スコア（独自算出の注目度）: 52.86931192259096
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Base Question Answering (KBQA) aims to answer natural language questions based on facts in knowledge bases. A typical approach to KBQA is semantic parsing, which translates a question into an executable logical form in a formal language. Recent works leverage the capabilities of large language models (LLMs) for logical form generation to improve performance. However, although it is validated that LLMs are capable of solving some KBQA problems, there has been little discussion on the differences in LLMs' proficiency in formal languages used in semantic parsing. In this work, we propose to evaluate the understanding and generation ability of LLMs to deal with differently structured logical forms by examining the inter-conversion of natural and formal language through in-context learning of LLMs. Extensive experiments with models of different sizes show that state-of-the-art LLMs can understand formal languages as well as humans, but generating correct logical forms given a few examples remains a challenge. Most importantly, our results also indicate that LLMs exhibit considerable sensitivity. In general, the formal language with a lower formalization level, i.e., the more similar it is to natural language, is more friendly to LLMs.
• Abstract（参考訳）: 知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 KBQAの典型的なアプローチは意味解析であり、質問を形式言語で実行可能な論理形式に変換する。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。 しかしながら、LLMがKBQA問題を解くことができることは検証されているが、意味解析に使用される形式言語におけるLLMの習熟度の違いについてはほとんど議論されていない。 本研究では,LLMのテキスト内学習を通じて,自然言語と形式言語の相互変換を検証し,異なる構造を持つ論理形式に対処するLLMの理解と生成能力を評価することを提案する。 異なる大きさのモデルを用いた大規模な実験では、最先端のLLMは人間と同様に形式言語を理解できるが、いくつかの例から正しい論理形式を生成することは依然として困難である。 以上の結果から,LSMは高い感度を示すことが示唆された。 一般に、形式化レベルが低い形式言語、すなわち自然言語に類似しているほど、LLMに親しみやすい。

関連論文リスト

• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• MLaKE: Multilingual Knowledge Editing Benchmark for Large Language Models [65.10456412127405]
  MLaKEは5言語にわたる知識編集手法の適応性のベンチマークである。 MLaKEは、ウィキペディアから言語にまたがるファクトチェーンを集約し、フリーフォームとマルチチョイスの両方で質問を生成する。 MLaKEにおける既存手法の多言語知識編集の一般化能力を評価する。
  論文  参考訳（メタデータ） (2024-04-07T15:23:28Z)
• Evaluating the Elementary Multilingual Capabilities of Large Language Models with MultiQ [16.637598165238934]
  大規模言語モデル(LLM)は、世界中の英語話者の大多数を含むすべての人にサービスを提供する必要がある。 近年の研究では、意図した用途に制限があるにもかかわらず、多くの言語でLSMを促すことが示されている。 我々は、27.4kのテスト質問に答える基本的なオープンエンド質問のための新しい銀標準ベンチマークであるMultiQを紹介する。
  論文  参考訳（メタデータ） (2024-03-06T16:01:44Z)
• How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions [25.39259677000101]
  本研究は,構文のレンズを通して問題を探究する。 文理解に最も近い9つの構文的知識ポイントを対象とする質問を作成する。 24大言語モデル(LLM)で実施された実験は、ほとんどの場合、構文的知識が限られていることを示唆している。
  論文  参考訳（メタデータ） (2023-11-14T16:30:36Z)
• Leveraging Large Language Models to Generate Answer Set Programs [5.532477732693001]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて例外的な性能を示した。 本稿では,大規模言語モデルの強みと解集合プログラミングを組み合わせたニューロシンボリック手法を提案する。
  論文  参考訳（メタデータ） (2023-07-15T03:40:55Z)
• Coupling Large Language Models with Logic Programming for Robust and General Reasoning from Text [5.532477732693001]
  大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。 自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。 本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-07-15T03:29:59Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)
• Foundations of Symbolic Languages for Model Interpretability [2.3361634876233817]
  本稿では,2種類のMLモデル上でのFOILクエリの計算複雑性について検討する。 本稿では,高レベルの宣言型言語でラップされたFOILのプロトタイプ実装について述べる。
  論文  参考訳（メタデータ） (2021-10-05T21:56:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。