論文の概要: Enigme: Generative Text Puzzles for Evaluating Reasoning in Language Models

• arxiv url: http://arxiv.org/abs/2505.04914v1
• Date: Thu, 08 May 2025 03:09:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.731405
• Title: Enigme: Generative Text Puzzles for Evaluating Reasoning in Language Models
• Title（参考訳）: Enigme: 言語モデルにおける推論評価のための生成テキストパズル
• Authors: John Hawkins,
• Abstract要約: トランスフォーマー・デコーダ言語モデルは、テキストベースの生成人工知能における中核的な革新である。 本稿では,学習や推論のスキル評価に使用されるテキストベースのパズルを生成するためのオープンソースライブラリであるenigmeを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-decoder language models are a core innovation in text based generative artificial intelligence. These models are being deployed as general-purpose intelligence systems in many applications. Central to their utility is the capacity to understand natural language commands and exploit the reasoning embedded in human text corpora to apply some form of reasoning process to a wide variety of novel tasks. To understand the limitations of this approach to generating reasoning we argue that we need to consider the architectural constraints of these systems. Consideration of the latent variable structure of transformer-decoder models allows us to design reasoning tasks that should probe the boundary of their capacity to reason. We present enigme, an open-source library for generating text-based puzzles to be used in training and evaluating reasoning skills within transformer-decoder models and future AI architectures.
• Abstract（参考訳）: トランスフォーマー・デコーダ言語モデルは、テキストベースの生成人工知能における中核的な革新である。 これらのモデルは、多くのアプリケーションにおいて汎用インテリジェンスシステムとしてデプロイされている。 彼らのユーティリティの中心は、自然言語のコマンドを理解し、人間のテキストコーパスに埋め込まれた推論を利用して、様々な新しいタスクに何らかの推論プロセスを適用する能力である。 推論を生成するためのこのアプローチの限界を理解するには、これらのシステムのアーキテクチャ上の制約を考慮する必要がある、と論じる。 変圧器・復号器モデルの潜時変動構造を考えることにより,解析能力の境界を探索する推論タスクを設計できる。 我々は,トランスフォーマーデコーダモデルと将来のAIアーキテクチャにおける推論スキルのトレーニングおよび評価に使用されるテキストベースのパズルを生成するための,オープンソースのライブラリであるenigmeを提案する。

関連論文リスト

• Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024) [16.282850445579857]
  推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。 自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。 言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
  論文  参考訳（メタデータ） (2024-10-07T02:31:47Z)
• A Survey on Large Language Models from Concept to Implementation [4.219910716090213]
  近年のLarge Language Models (LLM) の進歩により、自然言語処理(NLP)アプリケーションの範囲が拡大している。 本稿では,これらのモデルの多面的応用について検討し,GPTシリーズに着目した。 この調査は、コーディングや問題解決といった従来のタスクに革命をもたらす人工知能(AI)駆動ツールの変革的な影響に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-27T19:35:41Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer [59.73454783958702]
  本稿では,多くの結合演算子を連結して出力論理式をモデル化するシンボリック推論アーキテクチャを提案する。 特に,このような結合鎖のアンサンブルが'ツリー構造'の1次論理式であるFOETの広い部分集合を表現できることを実証する。 変圧器における多頭部自己保持モジュールは,確率的述語空間における結合作用素の結合境界を実装する特別なニューラル演算子として理解することができる。
  論文  参考訳（メタデータ） (2022-10-06T07:39:58Z)
• MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning [50.40151403246205]
  巨大な言語モデル(LM)は、自然言語ベースの知識タスクのゲートウェイとして機能する、AIの新しい時代を支えている。 離散的な知識と推論モジュールによって補完される、複数のニューラルモデルによる柔軟なアーキテクチャを定義する。 本稿では,MRKL(Modular Reasoning, Knowledge and Language)システムと呼ばれる,このニューロシンボリックアーキテクチャについて述べる。
  論文  参考訳（メタデータ） (2022-05-01T11:01:28Z)
• Generative Design Ideation: A Natural Language Generation Approach [7.807713821263175]
  本稿では,人工知能(AI)における最新の事前学習言語モデルの適用により,知識に基づく設計概念の生成的アプローチを検討することを目的とする。 AI生成されたアイデアは、簡潔で理解可能な言語であるだけでなく、制御可能な知識距離を持つ外部知識ソースでターゲット設計を合成することができる。
  論文  参考訳（メタデータ） (2022-03-28T08:11:29Z)
• Deep Latent-Variable Models for Text Generation [7.119436003155924]
  ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。 エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。 この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
  論文  参考訳（メタデータ） (2022-03-03T23:06:39Z)
• Thinking Like Transformers [64.96770952820691]
  本稿では,プログラミング言語の形式で変換器エンコーダの計算モデルを提案する。 RASPは、トランスフォーマーによって確実に学習できるタスクの解決策をプログラムするのにどのように使えるかを示す。 ヒストグラム、ソート、ダイク言語のためのRASPプログラムを提供する。
  論文  参考訳（メタデータ） (2021-06-13T13:04:46Z)
• Text Modular Networks: Learning to Decompose Tasks in the Language of Existing Models [61.480085460269514]
  本稿では,既存のモデルで解けるより単純なモデルに分解することで,複雑なタスクを解くための解釈可能なシステムを構築するためのフレームワークを提案する。 我々はこのフレームワークを用いて、ニューラルネットワークのファクトイド単一スパンQAモデルとシンボリック電卓で答えられるサブクエストに分解することで、マルチホップ推論問題に答えられるシステムであるModularQAを構築する。
  論文  参考訳（メタデータ） (2020-09-01T23:45:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。