論文の概要: Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2404.13074v1
• Date: Mon, 15 Apr 2024 10:44:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-28 11:16:37.582977
• Title: Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルにおける構成的一般化可能な意味解析
• Authors: Amogh Mannekote,
• Abstract要約: 本稿では, 合成一般化のための分析, 方法, 評価手法の最近の進歩をめざした文献調査を行う。 この種の一般化は、タスク指向対話のようなアプリケーションに対する意味解析のコミュニティに特に関係している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Compositional generalization is the ability of a model to generalize to complex, previously unseen types of combinations of entities from just having seen the primitives. This type of generalization is particularly relevant to the semantic parsing community for applications such as task-oriented dialogue, text-to-SQL parsing, and information retrieval, as they can harbor infinite complexity. Despite the success of large language models (LLMs) in a wide range of NLP tasks, unlocking perfect compositional generalization still remains one of the few last unsolved frontiers. The past few years has seen a surge of interest in works that explore the limitations of, methods to improve, and evaluation metrics for compositional generalization capabilities of LLMs for semantic parsing tasks. In this work, we present a literature survey geared at synthesizing recent advances in analysis, methods, and evaluation schemes to offer a starting point for both practitioners and researchers in this area.
• Abstract（参考訳）: 構成的一般化は、プリミティブを単に見ただけで、以前は目に見えない種類の実体の組み合わせにモデルを一般化する能力である。 この種の一般化は、タスク指向の対話、テキストからSQLへの解析、情報検索といったアプリケーションのためのセマンティック・パーシング・コミュニティに特に関係している。 大規模な言語モデル(LLM)が幅広いNLPタスクで成功したにも拘わらず、完全な構成一般化を解き放つことは、まだ未解決のフロンティアとしては数少ないものである。 過去数年間、意味解析タスクのためのLLMの合成一般化能力の限界、改善方法、評価指標を探求する研究への関心が高まってきた。 本研究は,本分野の実践者,研究者双方にとって出発点となる分析,方法,評価スキームの最近の進歩を総合した文献調査である。

関連論文リスト

• SPOR: A Comprehensive and Practical Evaluation Method for Compositional Generalization in Data-to-Text Generation [21.68354181391989]
  本研究では,データ・テキスト生成における合成一般化のための総合的・実践的な評価手法であるSPORを提案する。 2つの異なるデータセット上でSPORを実証し、LLMを含む既存の言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-05-17T09:25:30Z)
• Can LLM find the green circle? Investigation and Human-guided tool manipulation for compositional generalization [28.069928613367978]
  大規模言語モデル(LLM)は、文脈内学習(ICL)を通じて、多くのタスクにおいて印象的な一般化能力を示す サブクエストのためのツールを生成し,複数のツールを統合するヒューマンガイドツール操作フレームワーク(HTM)を提案する。 実験の結果,提案手法は2つの構成一般化ベンチマークの最先端性能を達成し,既存の手法よりも70%高い性能を示した。
  論文  参考訳（メタデータ） (2023-12-12T22:11:17Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• Large Search Model: Redefining Search Stack in the Era of LLMs [63.503320030117145]
  我々は,1つの大言語モデル(LLM)で検索タスクを統一することにより,従来の検索スタックを再定義する,大規模検索モデルと呼ばれる新しい概念的フレームワークを導入する。 全てのタスクは自動回帰テキスト生成問題として定式化され、自然言語のプロンプトを使ってタスクをカスタマイズできる。 提案フレームワークは,LLMの強力な言語理解と推論能力を活用し,既存の検索スタックを簡素化しつつ,検索結果の質を向上させる能力を提供する。
  論文  参考訳（メタデータ） (2023-10-23T05:52:09Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis [54.18659323181771]
  プログラム合成において望ましいいくつかの異なる構成一般化形式を特徴付ける。 本稿では,ExeDecを提案する。ExeDecは,実行サブゴールを予測し,各ステップでプログラム実行によって段階的に通知される問題を解くための,新しい分解ベースの戦略である。
  論文  参考訳（メタデータ） (2023-07-26T01:07:52Z)
• Compositional Semantic Parsing with Large Language Models [27.627684573915147]
  我々はより大きな語彙を持つより現実的な意味解析タスクにおける課題を特定する。 我々の最良の方法は最短のプロンプトに基づいている。 同様の取り組みが、他のタスクやドメインで新たな結果をもたらすことを期待しています。
  論文  参考訳（メタデータ） (2022-09-29T17:58:28Z)
• Compositional Generalization Requires Compositional Parsers [69.77216620997305]
  直近のCOGSコーパスにおける構成原理によって導かれるシーケンス・ツー・シーケンスモデルとモデルを比較した。 構造一般化は構成一般化の重要な尺度であり、複雑な構造を認識するモデルを必要とする。
  論文  参考訳（メタデータ） (2022-02-24T07:36:35Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Improving Compositional Generalization in Semantic Parsing [54.4720965813889]
  オフ・オブ・ディストリビューション(OOD)データへのモデルの一般化は、最近、大きな注目を集めている。 合成一般化のための自然なテストベッドである意味解析における合成一般化について検討する。
  論文  参考訳（メタデータ） (2020-10-12T12:34:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。