論文の概要: Three tiers of computation in transformers and in brain architectures

• arxiv url: http://arxiv.org/abs/2503.04848v1
• Date: Wed, 05 Mar 2025 22:47:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:52.700946
• Title: Three tiers of computation in transformers and in brain architectures
• Title（参考訳）: 変圧器と脳構造における3層計算
• Authors: E Graham, R Granger,
• Abstract要約: ヒトおよびトランスフォーマーベース言語モデル(LM)における能力の出現を示す。 人間は、算術的または論理的推論タスクを実行するために、言語を熱心に処理するが、特定の訓練を必要とする。 LMは以前のシステムにはない言語能力を持っているが、論理処理に苦慮している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Specific empirical phenomena spanning human natural language, and mathematical and logical abilities, are rigorously situated in the well-studied grammar-automata (G-A) hierarchy. We identify three tiers and corresponding two transitions within the hierarchy and show their correspondence to the emergence of particular abilities in humans and in transformer-based language models (LMs). These emergent abilities have often been described in terms of "scaling"; we show that it is the transition between tiers, rather than size itself, that determines a system's capabilities. Specifically, humans effortlessly process language yet require specific training to perform arithmetic or logical reasoning tasks; and LMs possess language abilities absent from predecessor systems yet still struggle with logical processing. The resulting principled analyses provide underlying explanatory accounts of both the abilities and shortfalls of these systems, and suggest actionable insights into the expansion of logic abilities in AI systems.
• Abstract（参考訳）: 人間の自然言語にまたがる特定の経験的現象、数学的および論理的能力は、よく研究された文法オートマタ(G-A)階層の中に厳格に配置されている。 階層内の3つの階層とそれに対応する2つの遷移を識別し、人間とトランスフォーマーベース言語モデル(LM)における特定の能力の出現に対応することを示す。 これらの創発的能力は、しばしば"スケーリング"という用語で説明され、システム能力を決定するのは、サイズそのものではなく、階層間の遷移であることを示す。 具体的には、人間は算術や論理的推論のタスクを実行するために特定の訓練を必要とするが、LMは以前のシステムにはない言語能力を持っているが、論理的処理に苦慮している。 結果として得られた原則的分析は、これらのシステムの能力と欠点の両方についての説明的説明を提供し、AIシステムにおける論理能力の拡張に関する実用的な洞察を示唆する。

関連論文リスト

• Data2Concept2Text: An Explainable Multilingual Framework for Data Analysis Narration [42.95840730800478]
  本稿では,データの集合を解釈し,基礎となる特徴を抽象化し,それを自然言語で記述する,完全な説明可能なシステムを提案する。 このシステムは、2つの重要な段階に依存している: (i)データから出現する特性を識別し、それらを抽象概念に変換する、(ii)これらの概念を自然言語に変換する。
  論文  参考訳（メタデータ） (2025-02-13T11:49:48Z)
• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic Systems [67.01132165581667]
  本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。 本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
  論文  参考訳（メタデータ） (2023-11-13T21:20:17Z)
• Dissociating language and thought in large language models [52.39241645471213]
  大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
  論文  参考訳（メタデータ） (2023-01-16T22:41:19Z)
• Strong-AI Autoepistemic Robots Build on Intensional First Order Logic [0.0]
  我々は、この一階述語論理(IFOL)を現代ロボットの象徴的アーキテクチャとみなす。 本稿では,特殊時相の「Konow$predicate」と「deductive axioms」を導入することで,ロボットの自己認識的推論能力の具体例を示す。
  論文  参考訳（メタデータ） (2022-12-14T16:23:56Z)
• Learning Neuro-symbolic Programs for Language Guided Robot Manipulation [10.287265801542999]
  自然言語命令と入力と出力シーンが与えられた場合、我々の目標は、操作プログラムを出力できるニューロシンボリックモデルを訓練することである。 i) トレーニング中に見られる以上の一般化を制限するが、密集したサブゴールの監督を必要とする概念に対して、手書きのシンボルに依存する。 我々のアプローチはニューロシンボリックであり、言語的および知覚的バリエーションを扱うことができ、中間的な監督を必要としないエンドツーエンドの差別化が可能であり、潜伏したニューラルオブジェクト中心の表現で機能するシンボリック推論構造を利用する。
  論文  参考訳（メタデータ） (2022-11-12T12:31:17Z)
• DALL-E 2 Fails to Reliably Capture Common Syntactic Processes [0.0]
  我々は,DALL-E2が構成性に関連する8つの文法的現象を捉える能力について分析した。 DALL-E 2は構文に整合した意味を確実に推測できないことを示す。
  論文  参考訳（メタデータ） (2022-10-23T23:56:54Z)
• LogiGAN: Learning Logical Reasoning via Adversarial Pre-training [58.11043285534766]
  本稿では,言語モデルの論理的推論能力を向上させるために,教師なしの対人事前学習フレームワークLogiGANを提案する。 人間の学習におけるリフレクティブ思考の促進効果に着想を得て,逆生成検証アーキテクチャを用いて学習思考過程をシミュレートする。 LogiGANで事前トレーニングされたベースモデルと大規模言語モデルの両方で、12のデータセットで明らかなパフォーマンス改善が示されている。
  論文  参考訳（メタデータ） (2022-05-18T08:46:49Z)
• Toward the quantification of cognition [0.0]
  知覚から行動、記憶に至るまで、ほとんどの人間の認知能力は他の種と共有される。 我々は、人類に広く存在し、他の種を欠いているこれらの能力を特徴づけることを模索している。
  論文  参考訳（メタデータ） (2020-08-12T21:45:29Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。