Fugu-MT 論文翻訳(概要): From Words to Worlds: Compositionality for Cognitive Architectures

論文の概要: From Words to Worlds: Compositionality for Cognitive Architectures

arxiv url: http://arxiv.org/abs/2407.13419v1
Date: Thu, 18 Jul 2024 11:42:13 GMT
ステータス: 処理完了
システム内更新日: 2024-07-19 15:40:38.456062
Title: From Words to Worlds: Compositionality for Cognitive Architectures
Title（参考訳）: 言葉から世界へ:認知アーキテクチャのための構成性
Authors: Ruchira Dhar, Anders Søgaard,
Abstract要約: 大規模言語モデル(LLM)は非常に高性能なコネクショナリストシステムであるが、より構成性が高いか? 以下に紹介するタスクを含む,4つのLLMファミリーと3つのタスクカテゴリにまたがる経験的分析について述べる。
参考スコア（独自算出の注目度）: 45.254578970023196
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Large language models (LLMs) are very performant connectionist systems, but do they exhibit more compositionality? More importantly, is that part of why they perform so well? We present empirical analyses across four LLM families (12 models) and three task categories, including a novel task introduced below. Our findings reveal a nuanced relationship in learning of compositional strategies by LLMs -- while scaling enhances compositional abilities, instruction tuning often has a reverse effect. Such disparity brings forth some open issues regarding the development and improvement of large language models in alignment with human cognitive capacities.
Abstract（参考訳）: 大規模言語モデル(LLM)は非常に高性能なコネクショナリストシステムであるが、より構成性が高いか? さらに重要なのは、それらがうまく機能する理由の一部なのだろうか? 以下に紹介するタスクを含む4つのLLMファミリー(12モデル)と3つのタスクカテゴリの実証分析について述べる。本研究は,LLMによる構成戦略の学習における微妙な関係を明らかにし,スケーリングは構成能力を高める一方,指導指導は逆効果を持つことが多い。このような格差は、人間の認知能力に合わせて、大きな言語モデルの開発と改善に関するオープンな問題を引き起こします。

関連論文リスト

Do Large Language Models Have Compositional Ability? An Investigation into Limitations and Scalability [12.349247962800813]
大規模言語モデル(LLM)は多くのAI問題に対する強力なツールとして登場した。また、ICL(In-context Learning)機能も備えている。どのように複合タスクにアプローチするかは、オープンな質問であり、ほとんど理解されていない。
論文参考訳（メタデータ） (2024-07-22T15:22:34Z)
In-Context Learning Improves Compositional Understanding of Vision-Language Models [2.762909189433944]
合成画像理解は、トレーニングデータに存在する物体バイアスのため、かなり難しい課題である。コントラストモデルと生成モデルを比較し、アーキテクチャの違い、事前学習データ、トレーニングタスクと損失を分析します。提案手法は,複数の構成的理解データセットにまたがるベースラインモデルより優れている。
論文参考訳（メタデータ） (2024-07-22T09:03:29Z)
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning [15.919493497867567]
本研究では,VALSEベンチマークを用いたマルチモーダル大規模言語モデル(MLLM)の性能評価を目的とした。我々は,モデルサイズや事前学習データセットの異なる最先端MLLMの包括的評価を行った。
論文参考訳（メタデータ） (2024-07-17T11:26:47Z)
RelationVLM: Making Large Vision-Language Models Understand Visual Relations [66.70252936043688]
本稿では,複数の画像にまたがっても動画内でも,様々なレベルの関係を解釈できる大規模視覚言語モデルであるRelationVLMを提案する。具体的には,多段階的な関係認識学習手法とそれに対応するデータ構成戦略を考案し,意味的関係を理解する能力を備えた関係VLMを提案する。
論文参考訳（メタデータ） (2024-03-19T15:01:19Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
論文参考訳（メタデータ） (2023-11-13T06:13:38Z)
Metacognitive Prompting Improves Understanding in Large Language Models [12.112914393948415]
メタ認知プロンプト(MP)は,人間の内省的推論プロセスにインスパイアされた戦略である。我々は10の自然言語理解(NLU)データセットにまたがる4つの先行するLarge Language Model(LLM)の実験を行った。 MPは、一般的なNLUタスクとドメイン固有のNLUタスクの両方において、既存のプロンプトメソッドを一貫して上回っている。
論文参考訳（メタデータ） (2023-08-10T05:10:17Z)
Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models [68.18370230899102]
大規模言語モデル(LLM)における構成一般化能力の活用法について検討する。我々は,これらのスキルに基礎を置く基礎的スキルと構成的事例の両方を同じプロンプト・コンテキストで示すことが重要であることを発見した。 SKiC型データを用いた微調整LDMは、ゼロショット弱強一般化を導出できることを示す。
論文参考訳（メタデータ） (2023-08-01T05:54:12Z)
Revealing the structure of language model capabilities [4.037009782513272]
27の認知タスクにわたる29の異なる大言語モデルからのデータを分析した。その結果、異なるLLMの能力において一貫した構造が明らかとなった。ベンチマークは、各幅広いモデル能力に合わせたタスクにフォーカスすることで、合理化できる可能性が示唆されている。
論文参考訳（メタデータ） (2023-06-14T15:43:25Z)
On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文参考訳（メタデータ） (2022-11-15T19:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。