論文の概要: Investigating the (De)Composition Capabilities of Large Language Models in Natural-to-Formal Language Conversion

• arxiv url: http://arxiv.org/abs/2501.14649v2
• Date: Fri, 21 Feb 2025 06:12:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:07:20.530261
• Title: Investigating the (De)Composition Capabilities of Large Language Models in Natural-to-Formal Language Conversion
• Title（参考訳）: 自然言語から形式言語への変換における大規模言語モデルの(デ)合成能力の検討
• Authors: Ziyao Xu, Houfeng Wang,
• Abstract要約: 大規模言語モデル(LLM)は、一般化され堅牢な自然言語変換(N2F)において、分解と構成の強力な能力を持つ必要がある。 我々は,N2F における LLM の分解と合成能力のセットを評価できるサンプルとタスクの構成を行うDEDCフレームワークを提案する。 本研究は,N2F における LLM の分解と合成の基本的な機能について,新たな視点を提供する。
• 参考スコア（独自算出の注目度）: 21.68354181391989
• License:
• Abstract: To achieve generalized and robust natural-to-formal language conversion (N2F), large language models (LLMs) need to have strong capabilities of decomposition and composition in N2F when faced with an unfamiliar formal language and be able to cope with compositional gaps and counter-intuitive symbolic names. To investigate whether LLMs have this set of basic capabilities in N2F, we propose the DEDC framework. This framework semi-automatically performs sample and task construction, allowing decoupled evaluation of the set of decomposition and composition capabilities of LLMs in N2F. Based on this framework, we evaluate and analyze the most advanced LLMs, and the main findings include that: (1) the LLMs are deficient in both decomposition and composition; (2) the LLMs show a wide coverage of error types that can be attributed to deficiencies in natural language understanding and the learning and use of symbolic systems; (3) compositional gaps and counter-intuitive symbolic names both affect the decomposition and composition of the LLMs. Our work provides a new perspective for investigating the basic capabilities of decomposition and composition of LLMs in N2F. The detailed analysis of deficiencies and attributions can help subsequent improvements of LLMs.
• Abstract（参考訳）: 一般化された、堅牢な自然言語変換(N2F)を実現するためには、大言語モデル(LLM)は、不慣れな形式言語に直面する場合、N2Fにおける分解と合成の強力な能力を有し、合成ギャップや対直観的記号名に対処できる必要がある。 LLMがN2Fの基本的な機能を持つかどうかを調べるため,DECフレームワークを提案する。 このフレームワークは半自動でサンプルとタスクの構成を行い、N2FにおけるLLMの分解と合成能力を分離して評価することができる。 その結果,(1)LLMは分解・構成ともに不十分であり,(2)LLMは自然言語理解の欠如や記号体系の学習・使用に起因する誤りの種類を広範囲に網羅し,(3)LLMの分解・構成に影響を及ぼす構成ギャップと反直観的記号名について検討した。 本研究は,N2F における LLM の分解と合成の基本的な機能について,新たな視点を提供する。 欠陥と属性の詳細な分析は、その後のLCMの改善に役立つ。

関連論文リスト

• SR-LLM: Rethinking the Structured Representation in Large Language Model [25.876300810298797]
  本稿では,構造化表現を大規模言語モデルと統合する優れた方法を探るため,SR-LLMを提案する。 幅広い下流データセットでは、特にPAWSでは3.17%、12.38%のパフォーマンス向上が見られた。
  論文  参考訳（メタデータ） (2025-02-20T08:17:56Z)
• Enhancing LLM Character-Level Manipulation via Divide and Conquer [108.6908427615402]
  大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
  論文  参考訳（メタデータ） (2025-02-12T07:37:39Z)
• CryptoX : Compositional Reasoning Evaluation of Large Language Models [18.927129952741904]
  既存のベンチマークと暗号を組み合わせた評価フレームワークであるCryptoXを紹介する。 我々はCryptoBenchを用いて、広く使われているオープンソースおよびクローズドソース LLM に関する詳細な実験を行う。 コンポジション推論を独立に研究することの価値を強調し,LLMのコンポジション推論能力を高める必要性を強調した。
  論文  参考訳（メタデータ） (2025-02-08T17:19:43Z)
• KcMF: A Knowledge-compliant Framework for Schema and Entity Matching with Fine-tuning-free LLMs [14.376057807754668]
  大規模言語モデル(LLM)は、タスク命令に関する幻覚や混乱に悩まされる。 本研究では、ドメイン固有の微調整を必要とせず、これらの問題に対処する知識-互換性マッチングフレームワーク(KcMF)を提案する。
  論文  参考訳（メタデータ） (2024-10-16T11:50:02Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• Benchmarking Complex Instruction-Following with Multiple Constraints Composition [72.82640456309821]
  大規模言語モデル(LLM)の複雑な命令追従能力の評価方法が重要な研究課題となっている。 既存のベンチマークは主に、異なる制約の構成を無視しながら、人間の指示で異なるタイプの制約をモデル化することに焦点を当てている。 複数の制約からなる複雑な命令に従うLLMの能力を総合的に評価するためのベンチマークである ComplexBench を提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:50:45Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
  大規模言語モデルの自己改善のためのAlphaLLMを紹介する。 モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。 実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-04-18T15:21:34Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。