論文の概要: Do LLMs Understand Sequential Structure? A Controlled Study of Inference and Generation

• arxiv url: http://arxiv.org/abs/2610.04977v1
• Date: Sun, 04 Oct 2026 05:45:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 07:23:12.17281
• Title: Do LLMs Understand Sequential Structure? A Controlled Study of Inference and Generation
• Title（参考訳）: LLMはシーケンス構造を理解するか?推論と生成の制御された研究
• Abstract要約: 大規模言語モデルが潜在戦略を識別し、単純なマルコフ規則に従い、高次条件依存を維持できるかどうかを検討する。 その結果、より長いコンテキストは識別を改善しず、正しい認識は忠実なシミュレーションを保証せず、高次の依存関係は規則回復を著しく低下させることがわかった。
• 参考スコア（独自算出の注目度）: 6.120161604281293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used as interactive agents and simulators, yet it remains unclear whether they can recover latent sequential structure beyond surface action frequencies. This distinction is critical for behavioral simulation, where actions are often shaped by prior context rather than marginal frequencies alone. We study this question using controlled two-player Rock--Paper--Scissors interactions and a one-player stochastic n-gram continuation task. Across these experiments, we test whether LLMs can identify latent strategies, follow simple Markov rules, and sustain higher-order conditional dependencies. Our framework separates distribution matching from conditional rule following. Results show that longer context does not improve identification, correct recognition does not ensure faithful simulation, and higher-order dependencies substantially degrade rule recovery. Apparent behavioral fidelity can therefore mask incorrect generative mechanisms.
• Abstract（参考訳）: 大規模言語モデル (LLM) は, 対話型エージェントやシミュレータとしての利用が増えているが, 表面動作周波数を超える遅延的構造を復元できるかどうかは不明である。 この区別は行動シミュレーションにおいて重要であり、行動は境界周波数のみではなく、事前の文脈によって形成されることが多い。 制御された2人プレイヤのRock-Paper-Scissorsインタラクションと1人プレイヤの確率的n-gram継続タスクを用いて,この問題を考察する。 これらの実験を通して、LCMが潜在戦略を識別し、単純なマルコフ規則に従うことができ、高次条件依存を維持できるかどうかを検証した。 本フレームワークは, 条件付きルールから分布マッチングを分離する。 その結果、より長いコンテキストは識別を改善しず、正しい認識は忠実なシミュレーションを保証せず、高次の依存関係は規則回復を著しく低下させることがわかった。 明らかな行動の忠実さは、誤った生成機構を隠蔽することができる。

関連論文リスト

• THESIS-MoE: Trainable Hierarchical Extraction and SteerIng of Sycophancy in Mixture-of-Experts [0.300988853836121]
  言語モデルがユーザの信念に合うように回答を変更する傾向にあるシコファシー(Sycophancy)は、一般的なアライメント障害である。 我々は、薬局がどこに住んでいるかを識別する、一致したプロンプトから構築された、共有されたコントラスト信号を導入する。 以上の結果から, サイコファンシーは同定可能な計算サブ回路内に存在し, 選択的に操舵できることが示された。
  論文  参考訳（メタデータ） (2026-08-16T11:30:26Z)
• When Rule Violations Are Rare: Chimera Training for Logical Anomaly Detection [56.362776482614976]
  本研究では,学習した視覚概念に対する制約を論理規則として与える環境での異常検出について検討する。 本稿では,各制約を有向非巡回グラフにコンパイルし,特徴認識サブツリーゲートを学習するニューラルルール評価器を提案する。 CLEVRER、OpenImages、VidOR全体で、結果として得られる評価は、独立イベントと同一イメージのセマンティックトレーニングベースラインよりもルールレベルのAUROCを改善する。
  論文  参考訳（メタデータ） (2026-05-25T02:52:36Z)
• Logic-Regularized Verifier Elicits Reasoning from LLMs [63.65875399266337]
  論理規則で正規化された教師なしの検証器であるLOVERを提案する。 ローバーは、定理を二項潜在変数として扱い、内部の活性化を活用し、3つの論理的制約を課す。 ローバーは教師なしのベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2026-05-07T09:03:49Z)
• Stabilizing Unsupervised Self-Evolution of MLLMs via Continuous Softened Retracing reSampling [19.22335478070254]
  MLLM自己進化におけるCSRS(Continuous Softened Retracing ReSampling)を提案する。 具体的には,ロングテール推論経路の探索を拡大するために,アンカーポイントからモデルの再推論を行うRetracing Re-inference Mechanism (RRM)を提案する。 CSRSは,MathVisionなどのベンチマークにおけるQwen2.5-VL-7Bの推論性能を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-04-04T08:52:43Z)
• The Emergence of Lab-Driven Alignment Signatures: A Psychometric Framework for Auditing Latent Bias and Compounding Risk in Generative AI [0.0]
  本稿では,不確実性の下での潜在特性推定を定量化する新しい監査フレームワークを提案する。 この研究は最適化バイアス、Sycophancy、Status-Quo Legitimizationを含む9つの次元にわたる主要なモデルを監査している。
  論文  参考訳（メタデータ） (2026-02-19T06:56:01Z)
• Identification of Causal Direction under an Arbitrary Number of Latent Confounders [54.76982125821112]
  実世界のシナリオでは、観測された変数は複数の潜伏変数によって同時に影響を受けることがある。 我々は,特定の方法で構築された観測変数の高次累積行列を併用する。 これらの高次累積行列の階数不足特性から,2つの観測変数間の因果非対称性が直接観察可能であることを示す。
  論文  参考訳（メタデータ） (2025-10-26T15:10:00Z)
• Parallel Sampling from Masked Diffusion Models via Conditional Independence Testing [4.707859580472452]
  仮面拡散モデル(MDM)は、離散テキスト生成のための自己回帰モデル(ARM)に代わる魅力的な代替手段を提供する。 シーケンシャルな左から右への生成ではなく、並列トークンサンプリングを可能にする。 本稿では,このトレードオフを再現するモデル非依存のサンプル装置PUNTを紹介する。
  論文  参考訳（メタデータ） (2025-10-24T18:41:26Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
  カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。 deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。 カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
  論文  参考訳（メタデータ） (2023-07-06T04:13:57Z)
• Diffusion-LM Improves Controllable Text Generation [80.50044830018442]
  言語モデル(LM)の振る舞いを再学習せずに制御することは、自然言語生成において大きな問題である。 拡散-LMと呼ばれる連続拡散に基づく非自己回帰型言語モデルを開発した。 本研究では,6つのきめ細粒度制御タスクに対してDiffusion-LMの制御に成功したことを実証した。
  論文  参考訳（メタデータ） (2022-05-27T20:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。