論文の概要: Three tiers of computation in transformers and in brain architectures

• arxiv url: http://arxiv.org/abs/2503.04848v2
• Date: Wed, 12 Mar 2025 22:08:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 19:21:34.902509
• Title: Three tiers of computation in transformers and in brain architectures
• Title（参考訳）: 変圧器と脳構造における3層計算
• Authors: E Graham, R Granger,
• Abstract要約: 人間は、算術的または論理的推論タスクを実行するために、言語を熱心に処理するが、批判的な訓練を必要とする。 スケールしたサイズではなく、システムの能力を決定する階層間の遷移であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Human language and logic abilities are computationally quantified within the well-studied grammar-automata hierarchy. We identify three hierarchical tiers and two corresponding transitions and show their correspondence to specific abilities in transformer-based language models (LMs). These emergent abilities have often been described in terms of scaling; we show that it is the transition between tiers, rather than scaled size itself, that determines a system's capabilities. Specifically, humans effortlessly process language yet require critical training to perform arithmetic or logical reasoning tasks; and LMs possess language abilities absent from predecessor systems, yet still struggle with logical processing. We submit a novel benchmark of computational power, provide empirical evaluations of humans and fifteen LMs, and, most significantly, provide a theoretically grounded framework to promote careful thinking about these crucial topics. The resulting principled analyses provide explanatory accounts of the abilities and shortfalls of LMs, and suggest actionable insights into the expansion of their logic abilities.
• Abstract（参考訳）: 人間の言語と論理能力は、よく研究された文法・オートマタ階層の中で計算的に定量化される。 3つの階層層と2つの対応する遷移を識別し、トランスフォーマーベース言語モデル(LM)における特定の能力に対応することを示す。 これらの創発的能力は、しばしばスケーリングの観点で説明され、スケールされたサイズそのものではなく、システムの能力を決定する階層間の遷移であることを示す。 具体的には、人間は算術や論理的推論のタスクを実行するために重要な訓練を必要とするが、LMは以前のシステムにはない言語能力を持っているが、それでも論理的処理に苦戦している。 我々は,計算能力の新たなベンチマークを提出し,人間と15個のLMの実証的評価を行い,最も顕著に,これらの重要なトピックについて慎重に考えるための理論的基盤となる枠組みを提供する。 結果として得られた原理分析は、LMの能力と欠点の説明的説明を提供し、それらの論理能力の拡張に関する実用的な洞察を示唆する。

関連論文リスト

• Data2Concept2Text: An Explainable Multilingual Framework for Data Analysis Narration [42.95840730800478]
  本稿では,データの集合を解釈し,基礎となる特徴を抽象化し,それを自然言語で記述する,完全な説明可能なシステムを提案する。 このシステムは、2つの重要な段階に依存している: (i)データから出現する特性を識別し、それらを抽象概念に変換する、(ii)これらの概念を自然言語に変換する。
  論文  参考訳（メタデータ） (2025-02-13T11:49:48Z)
• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• Dissociating language and thought in large language models [52.39241645471213]
  大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
  論文  参考訳（メタデータ） (2023-01-16T22:41:19Z)
• Strong-AI Autoepistemic Robots Build on Intensional First Order Logic [0.0]
  我々は、この一階述語論理(IFOL)を現代ロボットの象徴的アーキテクチャとみなす。 本稿では,特殊時相の「Konow$predicate」と「deductive axioms」を導入することで,ロボットの自己認識的推論能力の具体例を示す。
  論文  参考訳（メタデータ） (2022-12-14T16:23:56Z)
• Learning Neuro-symbolic Programs for Language Guided Robot Manipulation [10.287265801542999]
  自然言語命令と入力と出力シーンが与えられた場合、我々の目標は、操作プログラムを出力できるニューロシンボリックモデルを訓練することである。 i) トレーニング中に見られる以上の一般化を制限するが、密集したサブゴールの監督を必要とする概念に対して、手書きのシンボルに依存する。 我々のアプローチはニューロシンボリックであり、言語的および知覚的バリエーションを扱うことができ、中間的な監督を必要としないエンドツーエンドの差別化が可能であり、潜伏したニューラルオブジェクト中心の表現で機能するシンボリック推論構造を利用する。
  論文  参考訳（メタデータ） (2022-11-12T12:31:17Z)
• DALL-E 2 Fails to Reliably Capture Common Syntactic Processes [0.0]
  我々は,DALL-E2が構成性に関連する8つの文法的現象を捉える能力について分析した。 DALL-E 2は構文に整合した意味を確実に推測できないことを示す。
  論文  参考訳（メタデータ） (2022-10-23T23:56:54Z)
• LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
  本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。 人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。 LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
  論文  参考訳（メタデータ） (2022-05-18T08:46:49Z)
• Toward the quantification of cognition [0.0]
  知覚から行動、記憶に至るまで、ほとんどの人間の認知能力は他の種と共有される。 我々は、人類に広く存在し、他の種を欠いているこれらの能力を特徴づけることを模索している。
  論文  参考訳（メタデータ） (2020-08-12T21:45:29Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。