論文の概要: Large Language Models are Fixated by Red Herrings: Exploring Creative Problem Solving and Einstellung Effect using the Only Connect Wall Dataset

• arxiv url: http://arxiv.org/abs/2306.11167v1
• Date: Mon, 19 Jun 2023 21:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 16:21:53.239832
• Title: Large Language Models are Fixated by Red Herrings: Exploring Creative Problem Solving and Einstellung Effect using the Only Connect Wall Dataset
• Title（参考訳）: 大規模言語モデルはred herringsによって固定される: 唯一のconnect wallデータセットを用いた創造的問題解決とeinstellung効果の探求
• Authors: Saeid Naeini, Raeid Saqur, Mozhgan Saeidi, John Giorgi and Babak Taati
• Abstract要約: 人間の創造的問題解決は認知神経科学においてよく研究されているトピックである。 誤解を招く刺激(レッド・ハーリングと呼ばれる邪魔者)への露出は、そのようなタスクにおける人間のパフォーマンスを阻害する。 Connect Wallのセグメントだけが、基本的にはメドニックのRemote Associates Test (RAT)の定式化を、ビルトインで故意に赤いハーリングで模倣している。
• 参考スコア（独自算出の注目度）: 4.142096610640108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quest for human imitative AI has been an enduring topic in AI research since its inception. The technical evolution and emerging capabilities of the latest cohort of large language models (LLMs) have reinvigorated the subject beyond academia to the cultural zeitgeist. While recent NLP evaluation benchmark tasks test some aspects of human-imitative behaviour (e.g., BIG-bench's 'human-like behavior' tasks), few, if not none, examine creative problem solving abilities. Creative problem solving in humans is a well-studied topic in cognitive neuroscience with standardized tests that predominantly use the ability to associate (heterogeneous) connections among clue words as a metric for creativity. Exposure to misleading stimuli - distractors dubbed red herrings - impede human performance in such tasks via the fixation effect and Einstellung paradigm. In cognitive neuroscience studies, such fixations are experimentally induced by pre-exposing participants to orthographically similar incorrect words to subsequent word-fragments or clues. The popular British quiz show Only Connect's Connecting Wall segment essentially mimics Mednick's Remote Associates Test (RAT) formulation with built-in, deliberate red herrings, which makes it an ideal proxy dataset to explore and study fixation effect and Einstellung paradigm from cognitive neuroscience in LLMs. In addition to presenting the novel Only Connect Wall (OCW) dataset, we also report results from our evaluation of selected pre-trained language models and LLMs (including OpenAI's GPT series) on creative problem solving tasks like grouping clue words by heterogeneous connections, and identifying correct open knowledge domain connections in respective groups. The code and link to the dataset are available at https://github.com/TaatiTeam/OCW.
• Abstract（参考訳）: 人間の模倣AIの探求は、その誕生以来、AI研究において永続的な話題となっている。 大規模言語モデル(llm)の最新コホートの技術的進化と新しい能力は、学界を超えて文化的な風刺家へと主題を復活させた。 最近のnlp評価ベンチマークタスクは、人間の模倣行動のいくつかの側面(例えば、big-benchの"human-like behavior"タスク)をテストするが、創造的な問題解決能力を調べることは少ない。 人間の創造的問題解決は認知神経科学においてよく研究されているトピックであり、主に創造性の指標として手がかり語間の(ヘテロジェンスな)接続を関連付ける能力を使用する標準化されたテストがある。 誤解を招く刺激(レッド・ハーリングと呼ばれる邪魔者)への露出は、固定効果やアインシュタインパラダイムを通じて人間のパフォーマンスを阻害する。 認知神経科学研究において、そのような固定は実験参加者によって実験的に誘導される。 イギリスの人気クイズ番組「Not only Connect's Connecting Wall segment」は、基本的にはメドニックのリモートアソシエイツテスト(RAT)の定式化を、組み込みの故意のレッドハーリングで模倣している。 また,本論文では,選択された事前学習言語モデルとllm(openai の gpt シリーズを含む)を用いて,異種接続によるヒント語のグループ化や,各グループにおける正しいオープン知識ドメイン接続の同定といった創造的問題解決課題について評価した。 データセットのコードとリンクはhttps://github.com/TaatiTeam/OCW.comで公開されている。

関連論文リスト

• tagE: Enabling an Embodied Agent to Understand Human Instructions [3.943519623674811]
  我々は, Embodied Agent (tagE) のためのタスク・アンド・引数・グラウンドティング(タスク・アンド・引数・グラウンドディング)と呼ばれる新しいシステムを導入する。 本システムでは,自然言語で表現された複雑なタスク命令から一連のタスクを抽出するために,発明的なニューラルネットワークモデルを採用している。 提案モデルでは,入れ子デコードに富んだエンコーダ・デコーダ・フレームワークを用いて,複雑な命令からタスクとその引数を効果的に抽出する。
  論文  参考訳（メタデータ） (2023-10-24T08:17:48Z)
• Unleashing the Emergent Cognitive Synergy in Large Language Models: A Task-Solving Agent through Multi-Persona Self-Collaboration [116.09561564489799]
  Solo Performance Promptingは、複数のペルソナと多ターンの自己コラボレーションをすることで、単一のLCMを認知的シナジストに変換する。 認知シナジスト(英: Cognitive Synergist)は、複雑なタスクにおける問題解決を強化するために、複数の心の強みと知識を協調的に結合するインテリジェントエージェントである。 より詳細な分析により,LLMに複数の微粒なペルソナを割り当てることによって,単一あるいは固定数のペルソナに比べて問題解決能力が向上することが示された。
  論文  参考訳（メタデータ） (2023-07-11T14:45:19Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• ConvFinQA: Exploring the Chain of Numerical Reasoning in Conversational Finance Question Answering [70.6359636116848]
  本稿では,対話型質問応答における数値推論の連鎖を研究するために,新しい大規模データセットConvFinQAを提案する。 我々のデータセットは、現実世界の会話において、長距離で複雑な数値推論パスをモデル化する上で大きな課題となる。
  論文  参考訳（メタデータ） (2022-10-07T23:48:50Z)
• Negation, Coordination, and Quantifiers in Contextualized Language Models [4.46783454797272]
  機能語の意味的制約が学習されるかどうか, 周辺環境が組み込む環境に与える影響について検討する。 我々は、適切なデータセットを作成し、LMs vis-a-vis関数ワードの内部動作に関する新たな洞察を提供し、質的分析のための補助的なビジュアルWebインターフェースを実装した。
  論文  参考訳（メタデータ） (2022-09-16T10:01:11Z)
• A Survey On Neural Word Embeddings [0.4822598110892847]
  自然言語処理における意味の研究は、分布仮説に依存する。 概念の分散表現という革命的な考えは、人間の心の働きに近い。 ニューラルワード埋め込みは、すべてのNLPタスクを大幅に改善することで、NLPの分野全体を変革した。
  論文  参考訳（メタデータ） (2021-10-05T03:37:57Z)
• CogAlign: Learning to Align Textual Neural Representations to Cognitive Language Processing Signals [60.921888445317705]
  自然言語処理モデルに認知言語処理信号を統合するためのCogAlignアプローチを提案する。 我々は、CogAlignが、パブリックデータセット上の最先端モデルよりも、複数の認知機能で大幅な改善を実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-10T07:10:25Z)
• Decrypting Cryptic Crosswords: Semantically Complex Wordplay Puzzles as a Target for NLP [5.447716844779342]
  クリプティック・クロスワード(Cryptic crosswords)は、イギリスにおける英語を話すクロスワードである。 ベンチマークとして使用可能な暗号クロスワードヒントのデータセットを提示し,それらを解決するためにシーケンス・ツー・シーケンスモデルをトレーニングする。 新たなカリキュラム学習手法により,性能を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-04-17T18:54:00Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。