論文の概要: Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation

• arxiv url: http://arxiv.org/abs/2407.03805v1
• Date: Thu, 4 Jul 2024 10:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 18:32:28.310217
• Title: Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation
• Title（参考訳）: 難読化LDMを用いた認知的モデリング : 参照表現生成を事例として
• Authors: Polina Tsvilodub, Michael Franke, Fausto Carcassi,
• Abstract要約: 本稿では,参照表現生成のアルゴリズム的認知モデルのニューラルシンボリック実装について検討する。 私たちのハイブリッドアプローチは認知的に妥当であり、複雑な状況下ではうまく機能します。
• 参考スコア（独自算出の注目度）: 5.5711773076846365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To what extent can LLMs be used as part of a cognitive model of language generation? In this paper, we approach this question by exploring a neuro-symbolic implementation of an algorithmic cognitive model of referential expression generation by Dale & Reiter (1995). The symbolic task analysis implements the generation as an iterative procedure that scaffolds symbolic and gpt-3.5-turbo-based modules. We compare this implementation to an ablated model and a one-shot LLM-only baseline on the A3DS dataset (Tsvilodub & Franke, 2023). We find that our hybrid approach is cognitively plausible and performs well in complex contexts, while allowing for more open-ended modeling of language generation in a larger domain.
• Abstract（参考訳）: LLMは、言語生成の認知モデルの一部として、どの程度まで使えるのか? 本稿では,Dale & Reiter (1995) による参照表現生成のアルゴリズム的認知モデルのニューラルシンボリック実装を探索し,この問題にアプローチする。 シンボリックタスク解析は、シンボリックおよびgpt-3.5-turboベースのモジュールを足場とする反復手順として生成を実装している。 この実装を、A3DSデータセット(Tsvilodub & Franke, 2023)の短縮モデルと、1ショットのLCMのみのベースラインと比較する。 我々のハイブリッドアプローチは認知的に妥当であり、複雑なコンテキストでうまく機能し、より大きなドメインにおける言語生成のよりオープンなモデリングを可能にします。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Data Science with LLMs and Interpretable Models [19.4969442162327]
  大きな言語モデル(LLM)は解釈可能なモデルを扱うのに非常に適しています。 LLMはGAM(Generalized Additive Models)を記述、解釈、デバッグできることを示す。
  論文  参考訳（メタデータ） (2024-02-22T12:04:15Z)
• In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
  我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。 我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-23T18:59:21Z)
• LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces [1.529963465178546]
  本稿では,表現型エンコーダモデルとデコーダモデル(SentenceT5,LlaMA)とVAEアーキテクチャを組み合わせたLlaMaVAEを提案する。 実験の結果、LlaMaVAEは従来の最先端のVAE言語モデルであるOptimusよりも、様々なタスクで優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-20T17:25:23Z)
• Large Language Models can Contrastively Refine their Generation for Better Sentence Representation Learning [57.74233319453229]
  大規模言語モデル(LLM)は画期的な技術として登場し、それらの非並列テキスト生成能力は、基本的な文表現学習タスクへの関心を喚起している。 コーパスを生成するためにLLMの処理を分解するマルチレベルコントラスト文表現学習フレームワークであるMultiCSRを提案する。 実験の結果,MultiCSRはより高度なLCMをChatGPTの性能を超えつつ,ChatGPTに適用することで最先端の成果を得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-17T03:21:43Z)
• TRIGO: Benchmarking Formal Mathematical Proof Reduction for Generative Language Models [68.65075559137608]
  本稿では, ATP ベンチマーク TRIGO を提案する。このベンチマークでは, ステップバイステップの証明で三角法式を縮小するだけでなく, 論理式上で生成する LM の推論能力を評価する。 我々は、Webから三角法式とその縮小フォームを収集し、手作業で単純化プロセスに注釈を付け、それをリーン形式言語システムに翻訳する。 我々はLean-Gymに基づく自動生成装置を開発し、モデルの一般化能力を徹底的に分析するために、様々な困難と分布のデータセット分割を作成する。
  論文  参考訳（メタデータ） (2023-10-16T08:42:39Z)
• Enhancing Knowledge Graph Construction Using Large Language Models [0.0]
  本稿では,ChatGPTのような基礎LPMの現在の進歩を,REBELのような特定の事前学習モデルと比較し,結合実体と関係抽出について述べる。 生テキストから知識グラフを自動生成するためのパイプラインを作成し,高度なLCMモデルを用いることで,非構造化テキストからこれらのグラフを作成するプロセスの精度が向上することを示した。
  論文  参考訳（メタデータ） (2023-05-08T12:53:06Z)
• Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training [86.91380874390778]
  本稿では,生成モデルを活用して事前学習データを生成することで,自然言語発話と表スキーマの表現を共同で学習するGAPを提案する。 実験結果に基づいて、GAP MODELを利用するニューラルセマンティクスは、SPIDERとCRITERIA-to-generationベンチマークの両方で最新の結果を得る。
  論文  参考訳（メタデータ） (2020-12-18T15:53:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。