論文の概要: Think Through a Bottleneck: Hourglass Reasoning for Rigorous Induction

• arxiv url: http://arxiv.org/abs/2607.11696v1
• Date: Mon, 13 Jul 2026 15:29:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.534486
• Title: Think Through a Bottleneck: Hourglass Reasoning for Rigorous Induction
• Title（参考訳）: ボトルネックを通して考える:厳格な誘導のための1時間ガラス推論
• Abstract要約: textbfHourglass 推論を導入し,推論段階間のコンテキスト分離を厳格に行う。 Hourglassはメタコンストラクタとして機能し、各タスクをシンボルエンコーダ-デコーダとして構築する。 視覚的抽象化,ハードウェア合成,テキストルール誘導を対象とする3つのベンチマークにおけるHourglassの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-refinement often fails to strengthen few-shot inductive reasoning in large language models. Prompting a model to explicitly state its inferred rule does little on its own. What actually matters is a structurally enforced isolation between reasoning stages, so that information can only pass between them as a compressed symbolic state. We introduce \textbf{Hourglass reasoning}, which enforces strict context isolation between reasoning stages. The frozen LLM acts as a meta-constructor, building for each task a symbolic encoder--decoder: an Induction module compresses the support examples into a schema $φ$ (encoder) and a transient scaffold $z$; a Deduction module derives rule $T$ (decoder) from these and discards $z$; an Implementer compiles $(φ, T)$ into artifacts; an error-driven Refiner revises $(φ, T)$ and regenerates artifacts from scratch. Only $(φ, T)$ crosses stage boundaries, so all refinement stays anchored to the rule. We evaluate Hourglass across three benchmarks spanning visual abstraction, hardware synthesis, and textual rule induction, using GPT-5.5 and Gemini 3.1 Pro. On ARC-AGI-2, it raises best-of-5 accuracy by up to 14 points over an iterative-refinement baseline. On ChipBench, it nearly doubles Verilog synthesis accuracy with GPT-5.5, from 31\% to 58\%. BBEH-Linguini draws on puzzles from the International Linguistics Olympiad, a setting where prior work has shown that explicit verbalization can hurt performance. Hourglass mitigates this tendency, and on Gemini 3.1 Pro, it reverses the effect entirely. Ablations confirm that these gains come from the isolation between stages and the quality of the initial induction, not from prompt wording or the particular symbolic form used. It is how information flows through the reasoning process, rather than the language used to express it, that drives inductive reasoning in frozen LLMs.
• Abstract（参考訳）: 自己抑制はしばしば、大きな言語モデルにおいて、数発の帰納的推論を強化することに失敗する。 推論されたルールを明示的に記述するモデルの提案は、それ自体ではほとんど行われない。 実際に重要なのは、推論段階間の構造的に強制された隔離であり、情報の間には圧縮されたシンボル状態としてのみ渡される。 我々は、推論段階間の厳密なコンテキスト分離を強制する \textbf{Hourglass reasoning} を導入する。 インジェクションモジュールはサポート例をスキーマ$φ$(エンコーダ)とトランジェントな足場$z$に圧縮し、Deductionモジュールはルール$T$(デコーダ)を導出し、$z$を破棄し、Imlementerはアーティファクトに$(φ, T)$をコンパイルし、エラー駆動のRefinerは$(φ, T)$を書き換え、アーティファクトをスクラッチから再生する。 ステージ境界を越えるのは$(φ, T)$のみなので、すべての洗練は規則に固定される。 GPT-5.5 と Gemini 3.1 Pro を用いて、視覚的抽象化、ハードウェア合成、テキストルール誘導の3つのベンチマークで、Hourglass の評価を行った。 ARC-AGI-2では、イテレーティブリファインメントベースライン上で最大14ポイントのベスト・オブ・5の精度を向上する。 ChipBench では、ベリログ合成精度を GPT-5.5 から 31\% から 58\% にほぼ倍増させる。 BBEH-Linguini は国際言語学 Olympiad のパズルを引用している。 時間ガラスはこの傾向を緩和し、ジェミニ3.1 Proでは効果を完全に逆転させる。 アブレーションは、これらの利得が、プロンプトワードや使用される特定の記号形式からではなく、ステージと初期誘導の質の分離によるものであることを確認している。 情報の流れは、その表現に使用される言語ではなく、推論プロセスを通して流れ、凍結したLLMにおける帰納的推論を駆動する。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• Spaghetti Architect: A Contamination-Resistant, By-Construction-Labelled, Multi-Language Code Dataset Generator [4.010371060637209]
  Spaghetti Architectはクリーンで言語に依存しない中間表現を、意図的に冗長で完全にフラットなプログラムにマップする。 各プログラムは、参照するオラクルに対してコンパイル、実行、チェックされるので、各インスタンスは、構成によって正しい。 4モデルオープンラグのレポートベースライン: 正確な一致はスケールとともに上昇し、本質的なノブは最強モデルの算術的集約精度をゼロに崩壊させる。
  論文  参考訳（メタデータ） (2026-07-21T02:23:22Z)
• Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair [44.80087038178069]
  本稿では,デコーダのみのトランスフォーマーをネイティブに組み込んだトレーニングフレームワークであるTeleological Reasoning Infilling (TRI)を紹介する。 推測では、TRIは二重システムループ内の外科的修復モジュールとして動作する。 3つのベンチマークの実験では、TRIは全てのタスクで最先端のパフォーマンスを達成し、プロブレム当たりのトークン支出を31.2%削減した。
  論文  参考訳（メタデータ） (2026-06-03T15:58:48Z)
• Transformers Provably Learn to Internalize Chain-of-Thought [65.41010769606844]
  Implicit Chain-of-Thought (ICoT) は、隠れた状態の中で中間段階を内部化するモデルを訓練する。 Log-ICoTはシンキングトークンを一度に削除し、$k$のリニアから対数へのステージ数を削減します。 多層変圧器の実験により理論が確認され、より深い層に段階的に推論がどのように吸収されるかが可視化される。
  論文  参考訳（メタデータ） (2026-05-27T15:17:06Z)
• Stateful Reasoning via Insight Replay [51.85629502016196]
  CoT(Chain-of-Thought)推論は,大規模言語モデルにおける多段階推論の基盤となっている。 この現象の主な原因は、CoTが成長するにつれて、トレースの早期に生成された重要な洞察に対するモデルの注意が徐々に弱まることである。 提案手法は、モデルがその推論トレースから定期的に重要な洞察を抽出し、アクティブな世代フロンティア付近で再生するステートフル推論手法である。
  論文  参考訳（メタデータ） (2026-05-14T06:52:59Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Reasoning as Energy Minimization over Structured Latent Trajectories [0.0]
  構造的潜在計画(EBRM)によるエネルギーベース推論を提案する。 EBRMは、学習エネルギー関数$E(h_x, z)$の下で、多段階潜在軌道$z_1:T$の最適化をモデル化する。 訓練は、教師付きエンコーダ・デコーダ学習とハードネガティブを用いた対照的なエネルギーシェーピングを組み合わせる。 我々は,ステップごとの復号化,遅延ドリフト追跡,勾配分解による解析を行った。
  論文  参考訳（メタデータ） (2026-03-30T10:20:56Z)
• Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer [0.8738725605667471]
  CoT(Chain-of- Thought)推論は、トランスフォーマーベースの言語モデルで複雑な数学や多段階計画に優れる。 標準的なデコーダのみのアーキテクチャでは、これらの推論ステップは自然言語で外部化され、効率を犠牲にして解釈性を向上させる。 パラメータ数の増加を伴わずに推論時に層を再利用する深度再帰変換器である Huginn-3.5B にそのような推論構造が出現するかどうかを検討する。
  論文  参考訳（メタデータ） (2025-07-02T23:35:21Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。