論文の概要: Connecting the Dots: Evaluating Abstract Reasoning Capabilities of LLMs Using the New York Times Connections Word Game

• arxiv url: http://arxiv.org/abs/2406.11012v7
• Date: Mon, 14 Oct 2024 03:41:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:04:51.228073
• Title: Connecting the Dots: Evaluating Abstract Reasoning Capabilities of LLMs Using the New York Times Connections Word Game
• Title（参考訳）: ドットの接続:New York Times Connections Word Gameを用いたLLMの抽象推論能力の評価
• Authors: Prisha Samadarshi, Mariam Mustafa, Anushka Kulkarni, Raven Rothkopf, Tuhin Chakrabarty, Smaranda Muresan,
• Abstract要約: 我々は,最先端の大規模言語モデル(LLM)の性能を,専門家や初心者に対して評価する。 この結果から,最高のLLMであるClaude 3.5 Sonnetでもゲーム全体の18%しか解けないことがわかった。 本研究では,コネクティクスゲームにおける単語のクラスタ化と分類に要する知識の種類を分類する。
• 参考スコア（独自算出の注目度）: 20.64536059771047
• License:
• Abstract: The New York Times Connections game has emerged as a popular and challenging pursuit for word puzzle enthusiasts. We collect 438 Connections games to evaluate the performance of state-of-the-art large language models (LLMs) against expert and novice human players. Our results show that even the best performing LLM, Claude 3.5 Sonnet, which has otherwise shown impressive reasoning abilities on a wide variety of benchmarks, can only fully solve 18% of the games. Novice and expert players perform better than Claude 3.5 Sonnet, with expert human players significantly outperforming it. We create a taxonomy of the knowledge types required to successfully cluster and categorize words in the Connections game. We find that while LLMs perform relatively well on categorizing words based on semantic relations they struggle with other types of knowledge such as Encyclopedic Knowledge, Multiword Expressions or knowledge that combines both Word Form and Meaning. Our results establish the New York Times Connections game as a challenging benchmark for evaluating abstract reasoning capabilities in AI systems.
• Abstract（参考訳）: New York Times Connectionsゲームは、ワードパズル愛好家のための人気で挑戦的な追跡ゲームとして登場した。 我々は、438のConnectionsゲームを収集し、最先端の大規模言語モデル(LLM)の性能を専門家や初心者の人間プレイヤーに対して評価する。 この結果から,最も優れたLLMであるClaude 3.5 Sonnetでさえ,様々なベンチマークで優れた推論能力を示しており,ゲーム全体の18%しか解決できないことがわかった。 初心者や熟練したプレイヤーはクロード3.5ソンネットより優れており、熟練した人間のプレイヤーはそれよりかなり優れています。 本研究では,コネクティクスゲームにおける単語のクラスタ化と分類に要する知識の種類を分類する。 LLMは意味的関係に基づく単語の分類において比較的よく機能するが、百科事典的知識、多語表現、単語形式と意味の両方を組み合わせた知識など、他の種類の知識と競合する。 我々の結果は、AIシステムにおける抽象的推論能力を評価するための挑戦的なベンチマークとして、New York Times Connectionsゲームを確立しました。

関連論文リスト

• Making New Connections: LLMs as Puzzle Generators for The New York Times' Connections Word Game [6.136654326170453]
  コネクションパズル(Connections puzzle)は、ニューヨーク・タイムズ(NYT)が毎日発行しているワードアソシエーションゲームである。 新たなパズルを生成するには、メタ認知の形式が必要である: ジェネレータは、潜在的な解決者の下流の推論を正確にモデル化できなければならない。 この結果から,LLMは有能なパズル作成者であり,人間によって判断されるような,楽しい,挑戦的な,創造的なコネクトパズルを多種多様なセットで生成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-15T21:05:25Z)
• Language Models are Crossword Solvers [1.53744306569115]
  我々は大言語モデル(LLM)を用いたクロスワードの解法に挑戦する。 我々は,現在の最先端技術(SoTA)言語モデルが,暗号的クロスワードの手がかりを解読する能力を示すことを示した。 また,LLMを用いて全クロスワードグリッドを解く問題に対処するために,この性能を生かした探索アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-06-13T12:29:27Z)
• Missed Connections: Lateral Thinking Puzzles for Large Language Models [2.1374208474242815]
  ニューヨーク・タイムズが毎日発行するコネクショニオンパズルは、16ワードのバンクを4つのグループに分け、それぞれが共通のテーマに関連付けている。 自動AIシステムがConnectionsをプレイする能力について検討し、抽象的推論のための自動ベンチマークとしてゲームの可能性を探る。
  論文  参考訳（メタデータ） (2024-04-17T20:31:05Z)
• Leveraging Word Guessing Games to Assess the Intelligence of Large Language Models [105.39236338147715]
  この論文は人気のある言語ゲーム『Who is Spy』にインスパイアされている。 本研究は,LEMの表現と変形能力を評価するためのDEEPを開発する。 次に、インタラクティブなマルチエージェントフレームワークであるSpyGameを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T14:37:42Z)
• SPRING: Studying the Paper and Reasoning to Play Games [102.5587155284795]
  我々は,ゲーム本来の学術論文を読み取るための新しいアプローチ,SPRINGを提案し,大言語モデル(LLM)を通してゲームの説明とプレイの知識を利用する。 実験では,クラフトオープンワールド環境の設定下で,異なる形態のプロンプトによって引き起こされる文脈内「推論」の品質について検討した。 我々の実験は、LLMが一貫したチェーン・オブ・シークレットによって誘導されると、洗練された高レベル軌道の完成に大きな可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T18:14:35Z)
• JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions [75.42526766746515]
  本稿では,人間のインタラクティブ・フィクション(IF)ゲームプレイ・ウォークスルーに基づく新しいコモンセンス推論データセットを提案する。 本データセットは,事実知識ではなく,機能的コモンセンス知識ルールの評価に重点を置いている。 実験の結果、導入したデータセットは、以前の機械読影モデルと新しい大規模言語モデルに難題であることが示されている。
  論文  参考訳（メタデータ） (2022-10-18T19:20:53Z)
• WinoGAViL: Gamified Association Benchmark to Challenge Vision-and-Language Models [91.92346150646007]
  本研究では,視覚・言語関係を収集するオンラインゲームであるWinoGAViLを紹介する。 私たちはこのゲームを使って3.5Kのインスタンスを収集し、それらが人間には直感的だが最先端のAIモデルには挑戦的であることを発見した。 我々の分析とプレイヤーからのフィードバックは、収集された協会が多様な推論スキルを必要とすることを示している。
  論文  参考訳（メタデータ） (2022-07-25T23:57:44Z)
• Contextual Games: Multi-Agent Learning with Side Information [57.76996806603094]
  各ラウンドでコンテキスト情報によって駆動されるコンテキストゲームの新しいクラスを定式化する。 カーネルベースの規則性仮定を用いて、異なるコンテキストとゲーム結果の相関関係をモデル化する。 本研究では,個々のプレイヤーの文脈的後悔を最小限に抑えるために,そのような相関を利用した新しいオンライン(メタ)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-13T18:37:37Z)
• Playing Codenames with Language Graphs and Word Embeddings [21.358501003335977]
  言語グラフBabelNetからコード名の手がかりを生成できるアルゴリズムを提案する。 本稿では,手掛かりの質を測定する新しいスコアリング機能を提案する。 BabelNet-Word Selection Framework(BabelNet-WSF)を開発して、BabelNetの手がかり品質を向上させます。
  論文  参考訳（メタデータ） (2021-05-12T18:23:03Z)
• Deep Reinforcement Learning with Stacked Hierarchical Attention for Text-based Games [64.11746320061965]
  自然言語の文脈におけるインタラクティブなシミュレーションであるテキストベースゲームの強化学習について検討する。 エージェントの動作が解釈可能な推論手順によって生成され、支援されるように、意思決定のための知識グラフを用いた明示的な推論を行うことを目指している。 提案手法を多数の人為的ベンチマークゲームで広範囲に評価し,本手法が既存のテキストベースエージェントよりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2020-10-22T12:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。