論文の概要: Reasoning Primitives in Hybrid and Non-Hybrid LLMs

• arxiv url: http://arxiv.org/abs/2604.21454v1
• Date: Thu, 23 Apr 2026 09:13:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-24 14:40:06.400796
• Title: Reasoning Primitives in Hybrid and Non-Hybrid LLMs
• Title（参考訳）: ハイブリッドおよび非ハイブリッドLDMにおける共振プリミティブ
• Authors: Shivam Rawat, Lucie Flek, Florian Mai, Nicholas Kluge Corrêa,
• Abstract要約: 我々は、リコールと状態追跡という2つのプリミティブを通して推論を研究する。 我々は、命令調整および推論強化の変種にマッチしたOlmo3変換器とハイブリッドモデルを使用する。
• 参考スコア（独自算出の注目度）: 10.629439705877054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning in large language models is often treated as a monolithic capability, but its observed gains may arise from more basic operations. We study reasoning through two such primitives, recall and state-tracking, and ask whether hybrid architectures that combine attention-based retrieval with recurrent state updates are better suited than attention-only models for tasks that jointly require both. Using matched Olmo3 transformer and hybrid models in instruction-tuned and reasoning-augmented variants, we evaluate these models on a set of controlled tasks involving a mixture of state-tracking and recall primitives, state-based recall. Across tasks, we notice that reasoning augmentation provides the largest overall improvement, substantially extending the range of difficulty over which models remain effective. We also notice that in certain tasks, the hybrid reasoning model remains substantially more robust as sequential dependence increases. In contrast, the transformer reasoning model degrades sharply in performance as task difficulty increases beyond a given threshold. These results suggest that reasoning tokens and architectural inductive biases contribute at different levels of the computational process: explicit reasoning can expand a model's effective operating range, but its benefit depends on how well the underlying architecture supports persistent state propagation. Given the small size of our case study, which involves a limited set of models and tasks, we present these findings as suggestive rather than conclusive and leave broader validation across model families, scales, and task variations to future work.
• Abstract（参考訳）: 大規模言語モデルの推論は、しばしばモノリシックな能力として扱われるが、その観察された利益はより基本的な操作によって生じる可能性がある。 このような2つのプリミティブによる推論、リコールと状態追跡について検討し、注意に基づく検索と頻繁な状態更新を組み合わせたハイブリッドアーキテクチャが、両方を共同で要求するタスクに対する注意のみのモデルよりも適しているかどうかを問う。 整合型Olmo3変換器とハイブリッドモデルを用いて、状態追跡とリコールプリミティブ、状態ベースリコールを含む一連の制御タスクにおいて、これらのモデルを評価した。 タスク全体にわたって、推論の強化が全体的な改善を最大化し、どのモデルが有効かという難しさの範囲を大幅に広げていることに気付く。 また、あるタスクにおいて、逐次依存が増加するにつれて、ハイブリッド推論モデルがかなり堅牢であることに気付きました。 対照的に、タスクの難易度が与えられたしきい値を超えて増加するにつれて、トランスフォーマー推論モデルは性能が著しく低下する。 これらの結果は、推論トークンとアーキテクチャ帰納バイアスが計算プロセスの異なるレベルに寄与していることを示唆している。 モデルとタスクの限られたセットを含むケーススタディの小さなサイズを考えると、これらの発見は決定的ではなく示唆的であり、モデルファミリ、スケール、タスクのバリエーションを将来の作業に当てはめる。

関連論文リスト

• Expressivity-Efficiency Tradeoffs for Hybrid Sequence Models [50.45915413315706]
  非ハイブリッドモデルに対する基本的な制限の存在を証明する。 我々は,これらの課題を確実に解決する,小さなサイズと作業メモリのハイブリッドモデルを構築した。 さらに,ハイブリッドモデルが非ハイブリッドモデルよりも長大化および分布外堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2026-03-09T19:20:01Z)
• Architecture Decoupling Is Not All You Need For Unified Multimodal Model [64.19284951218098]
  本稿では,トレーニング中のタスク-特定マルチモーダルインタラクションパターンを明示的に学習する,意図的インタラクションアライメント(AIA)の損失を提案する。 AIAは、横断的な注意パターンを洗練するだけでなく、生成と理解の両方のパフォーマンスも向上させる。
  論文  参考訳（メタデータ） (2025-11-27T17:55:25Z)
• Frugal Incremental Generative Modeling using Variational Autoencoders [4.7881638074901955]
  我々は変分オートエンコーダ(VAE)に基づく新しいリプレイフリーインクリメンタル学習モデルを開発する。 提案手法では,パラメータ数に非(あるいは少なくとも制御された)成長を伴わない静的と動的の2つの変数について検討した。
  論文  参考訳（メタデータ） (2025-05-28T14:37:57Z)
• Diagnosing and Mitigating Modality Interference in Multimodal Large Language Models [26.005367102695317]
  マルチモーダル大規模言語モデルでは,非関連信号とタスク関連情報を区別することが困難である。 無関係なモダリティからの急激な情報は、しばしば大幅な性能低下をもたらすことを示す。 本稿では,摂動と対向的摂動を併用した摂動に基づくデータ拡張を含む,MLLMを微調整する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:31:32Z)
• Inference-Time Scaling for Complex Tasks: Where We Stand and What Lies Ahead [33.011660907969706]
  推論時間スケーリングは、大きな言語モデルの推論能力を高めることができる。 本研究では,9つの最先端モデルと8つの課題にまたがるスケーリング手法の利点と限界について検討する。
  論文  参考訳（メタデータ） (2025-03-31T23:40:28Z)
• Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
  本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T14:36:49Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)
• Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
  強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。 我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
  論文  参考訳（メタデータ） (2021-06-03T17:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。