論文の概要: Sequential Enumeration in Large Language Models

• arxiv url: http://arxiv.org/abs/2512.04727v1
• Date: Thu, 04 Dec 2025 12:10:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.155322
• Title: Sequential Enumeration in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける逐次列挙
• Authors: Kuinan Hou, Marco Zorzi, Alberto Testolin,
• Abstract要約: 本稿では,5つの最先端大言語モデル(LLM)の逐次列挙能力について検討する。 いくつかのLCMでは、明示的に指示された場合にカウント手順を展開できるが、単にシーケンス内のアイテム数を列挙するように要求した場合は、自発的にカウント処理を行なわない。
• 参考スコア（独自算出の注目度）: 0.3823356975862005
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Reliably counting and generating sequences of items remain a significant challenge for neural networks, including Large Language Models (LLMs). Indeed, although this capability is readily handled by rule-based symbolic systems based on serial computation, learning to systematically deploy counting procedures is difficult for neural models, which should acquire these skills through learning. Previous research has demonstrated that recurrent architectures can only approximately track and enumerate sequences of events, and it remains unclear whether modern deep learning systems, including LLMs, can deploy systematic counting procedures over sequences of discrete symbols. This paper aims to fill this gap by investigating the sequential enumeration abilities of five state-of-the-art LLMs, including proprietary, open-source, and reasoning models. We probe LLMs in sequential naming and production tasks involving lists of letters and words, adopting a variety of prompting instructions to explore the role of chain-of-thought in the spontaneous emerging of counting strategies. We also evaluate open-source models with the same architecture but increasing size to see whether the mastering of counting principles follows scaling laws, and we analyze the embedding dynamics during sequential enumeration to investigate the emergent encoding of numerosity. We find that some LLMs are indeed capable of deploying counting procedures when explicitly prompted to do so, but none of them spontaneously engage in counting when simply asked to enumerate the number of items in a sequence. Our results suggest that, despite their impressive emergent abilities, LLMs cannot yet robustly and systematically deploy counting procedures, highlighting a persistent gap between neural and symbolic approaches to compositional generalization.
• Abstract（参考訳）: 信頼性の高いアイテム列のカウントと生成は、Large Language Models(LLMs)など、ニューラルネットワークにとって重要な課題である。 実際、この機能はシリアル計算に基づくルールベースのシンボリックシステムによって容易に処理されるが、ニューラルネットワークでは、数え上げ手順を体系的に展開する学習は困難であり、学習を通じてこれらのスキルを取得する必要がある。 従来の研究では、リカレントアーキテクチャはイベントのシーケンスをおよそ追跡し、列挙するしかなく、LLMを含む現代のディープラーニングシステムが離散シンボルのシーケンスに対して体系的なカウント手順を展開できるかどうかは不明な点が示されている。 本稿では,プロプライエタリ,オープンソース,推論モデルを含む5つの最先端LCMの逐次列挙能力について検討することにより,このギャップを埋めることを目的とする。 我々は,LLMを文字と単語のリストを含む逐次命名・生産タスクにおいて探索し,数え上げ戦略の自然発生におけるチェーン・オブ・シークレットの役割を探るために,様々な指示を取り入れた。 また,同アーキテクチャを用いたオープンソースモデルの評価も行ったが,スケールアップ法則に従って数え上げ原理の習得が成立するかどうかを確かめるためにサイズが大きくなるとともに,列挙中の埋め込みダイナミクスを分析して,創発的特異性の符号化について検討する。 いくつかのLCMでは、明示的に指示された場合にカウント手順を展開できるが、単にシーケンス内のアイテム数を列挙するように要求した場合は、自発的にカウント処理を行なわない。 以上の結果から,LLMは目覚ましい創発的能力にもかかわらず,構成一般化に対するニューラルネットワークと記号的アプローチの永続的なギャップを浮き彫りにして,依然として頑健かつ体系的に計数手順を展開できないことが示唆された。

関連論文リスト

• The Idola Tribus of AI: Large Language Models tend to perceive order where none exists [0.0]
  我々は,不適切であるにもかかわらず,大きな言語モデル (LLM) が不適切なパターンを生成する傾向を示す。 この傾向は、Idola Tribusに相当するAIモデルと解釈できる。
  論文  参考訳（メタデータ） (2025-10-10T02:51:15Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• CountLLM: Towards Generalizable Repetitive Action Counting via Large Language Model [21.173115602479996]
  繰り返しのアクションカウントは、フィットネス監視などのビデオ分析アプリケーションに有用である。 我々は,ビデオデータと周期的テキストプロンプトを入力として取り出し,所望のカウント値を出力する,LLMに基づく最初の大規模言語モデルであるCountLLMを提案する。 本研究では,周期性の特徴を記述し,整合性を確保するために標準化された応答形式を実装した命令のための周期性ベースの構造化テンプレートを開発する。
  論文  参考訳（メタデータ） (2025-03-22T08:20:31Z)
• Enhancing Item Tokenization for Generative Recommendation through Self-Improvement [67.94240423434944]
  生成レコメンデーションシステムは大規模言語モデル(LLM)によって駆動される 現在のアイテムトークン化手法には、テキスト記述、数値文字列、離散トークンのシーケンスの使用が含まれる。 自己改善アイテムトークン化手法を提案し,LLMがトレーニングプロセス中に独自のアイテムトークン化を洗練できるようにする。
  論文  参考訳（メタデータ） (2024-12-22T21:56:15Z)
• Interpreting and Improving Large Language Models in Arithmetic Calculation [72.19753146621429]
  大規模言語モデル(LLM)は、多くのアプリケーションにまたがる顕著な可能性を示している。 本研究では,LLMが計算を行う特定のメカニズムを明らかにする。 LLMの計算性能を高めるために、これらの必須ヘッド/MLPを選択的に微調整する潜在的な利点について検討する。
  論文  参考訳（メタデータ） (2024-09-03T07:01:46Z)
• Assessing Logical Puzzle Solving in Large Language Models: Insights from a Minesweeper Case Study [10.95835611110119]
  我々は、Large Language Models (LLM) になじみのないフォーマットで設計された新しいタスク、Minesweeperを導入する。 このタスクは、隣接するオープンセルが提供する数値的な手がかりに基づいて、LLMが鉱山の位置を特定することを課題とする。 我々の実験は、先進的な GPT-4 モデルによる試行を含むもので、LLM は、この課題に必要な基礎的能力を持っているが、Minesweeper を解くために必要な一貫性のある多段階論理的推論プロセスにこれらを統合するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2023-11-13T15:11:26Z)
• Large Language Models as General Pattern Machines [64.75501424160748]
  我々は,事前訓練された大規模言語モデル (LLM) が,複雑なトークンシーケンスを自動回帰的に完了することを示す。 驚いたことに、語彙からランダムにサンプリングされたトークンを用いてシーケンスが表現された場合でも、パターン完了の習熟度を部分的に保持することができる。 本研究では,ロボット工学における問題に対して,これらのゼロショット機能がどのように適用されるかを検討する。
  論文  参考訳（メタデータ） (2023-07-10T17:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。