論文の概要: Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation

• arxiv url: http://arxiv.org/abs/2407.03805v1
• Date: Thu, 4 Jul 2024 10:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 18:32:28.310217
• Title: Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation
• Title（参考訳）: 難読化LDMを用いた認知的モデリング : 参照表現生成を事例として
• Authors: Polina Tsvilodub, Michael Franke, Fausto Carcassi,
• Abstract要約: 本稿では,参照表現生成のアルゴリズム的認知モデルのニューラルシンボリック実装について検討する。 私たちのハイブリッドアプローチは認知的に妥当であり、複雑な状況下ではうまく機能します。
• 参考スコア（独自算出の注目度）: 5.5711773076846365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To what extent can LLMs be used as part of a cognitive model of language generation? In this paper, we approach this question by exploring a neuro-symbolic implementation of an algorithmic cognitive model of referential expression generation by Dale & Reiter (1995). The symbolic task analysis implements the generation as an iterative procedure that scaffolds symbolic and gpt-3.5-turbo-based modules. We compare this implementation to an ablated model and a one-shot LLM-only baseline on the A3DS dataset (Tsvilodub & Franke, 2023). We find that our hybrid approach is cognitively plausible and performs well in complex contexts, while allowing for more open-ended modeling of language generation in a larger domain.
• Abstract（参考訳）: LLMは、言語生成の認知モデルの一部として、どの程度まで使えるのか? 本稿では,Dale & Reiter (1995) による参照表現生成のアルゴリズム的認知モデルのニューラルシンボリック実装を探索し,この問題にアプローチする。 シンボリックタスク解析は、シンボリックおよびgpt-3.5-turboベースのモジュールを足場とする反復手順として生成を実装している。 この実装を、A3DSデータセット(Tsvilodub & Franke, 2023)の短縮モデルと、1ショットのLCMのみのベースラインと比較する。 我々のハイブリッドアプローチは認知的に妥当であり、複雑なコンテキストでうまく機能し、より大きなドメインにおける言語生成のよりオープンなモデリングを可能にします。

関連論文リスト

• LLMs can learn self-restraint through iterative self-reflection [57.26854891567574]
  大規模言語モデル(LLM)は、特定のトピックに関連する知識と不確実性に基づいて、その振る舞いを動的に適応できなければならない。 この適応的行動は、私たちが自己規制と呼ぶもので、教えるのは簡単ではない。 モデルが信頼している場合にのみ応答を生成できるようにするユーティリティ関数を考案する。
  論文  参考訳（メタデータ） (2024-05-15T13:35:43Z)
• Data Science with LLMs and Interpretable Models [19.4969442162327]
  大きな言語モデル(LLM)は解釈可能なモデルを扱うのに非常に適しています。 LLMはGAM(Generalized Additive Models)を記述、解釈、デバッグできることを示す。
  論文  参考訳（メタデータ） (2024-02-22T12:04:15Z)
• The Matrix: A Bayesian learning model for LLMs [1.169389391551085]
  大規模言語モデル(LLM)の振る舞いを理解するためのベイズ学習モデルを提案する。 提案手法では,先行した多項遷移確率行列で表される理想的な生成テキストモデルを構築する。 埋め込みと多項分布の間の写像の連続性について議論し、ディリクレ近似定理を任意の事前に近似する。
  論文  参考訳（メタデータ） (2024-02-05T16:42:10Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces [1.529963465178546]
  本稿では,表現型エンコーダモデルとデコーダモデル(SentenceT5,LlaMA)とVAEアーキテクチャを組み合わせたLlaMaVAEを提案する。 実験の結果、LlaMaVAEは従来の最先端のVAE言語モデルであるOptimusよりも、様々なタスクで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T17:25:23Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• TRIGO: Benchmarking Formal Mathematical Proof Reduction for Generative Language Models [68.65075559137608]
  本稿では, ATP ベンチマーク TRIGO を提案する。このベンチマークでは, ステップバイステップの証明で三角法式を縮小するだけでなく, 論理式上で生成する LM の推論能力を評価する。 我々は、Webから三角法式とその縮小フォームを収集し、手作業で単純化プロセスに注釈を付け、それをリーン形式言語システムに翻訳する。 我々はLean-Gymに基づく自動生成装置を開発し、モデルの一般化能力を徹底的に分析するために、様々な困難と分布のデータセット分割を作成する。
  論文  参考訳（メタデータ） (2023-10-16T08:42:39Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。