論文の概要: The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning
- arxiv url: http://arxiv.org/abs/2607.11116v1
- Date: Mon, 13 Jul 2026 05:45:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.341089
- Title: The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning
- Title(参考訳): 平衡は初期化である:物理構造深部平衡推論における遅延アイデンティティ崩壊
- Abstract要約: 深い平衡モデルは入力適応型暗黙計算を約束する。
ポート・ハミルトニアンDEQの学習的推論課題に対する注意深い研究を報告する。
標準ゼロ化アブレーションが確立され, 種子依存的な回答が得られた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep equilibrium models promise input-adaptive implicit computation: harder problems should demand more solver iterations, and the solved equilibrium should encode the result of genuine iterative inference. We report a cautionary study of a port-Hamiltonian DEQ with a learned initialization on two reasoning tasks -- ProofWriter entailment over frozen DeBERTa embeddings and a BFS-verified graph-reachability benchmark -- in which the implicit computation is a silent no-op. Across tasks, seeds, and controlled ablation arms, the solved equilibrium equals the solver's start point to numerical precision, and bypassing the solver entirely changes test accuracy by +0.00 percentage points in 18 of 19 training runs. Controlled interventions falsify the tempting explanation: removing the anchoring term reproduces every result, and retraining with noise-decoupled starts yields a solver that converges to the noisy start while the decoder learns to ignore it. The single escaping run diverges instead ($\|h^{*}-z_0\|=171$), producing a co-adapted noise channel whose removal improves accuracy. Iteration counts are uncorrelated with ground-truth difficulty ($r=0.009$), and the full apparatus never outperforms a two-layer MLP on either task. We trace the mechanism to gradient starvation along two distinct routes, show that the standard zeroing ablation is confounded and gives wildly seed-dependent answers where the correct substitution test gives a stable zero, and distill a four-test diagnostic protocol for auditing claimed implicit computation. All experiments run on a single free Colab GPU; code, raw logs, and analysis scripts are released.
- Abstract(参考訳): 深い平衡モデルは入力適応型暗黙の計算を約束する: より難しい問題はより解法的な反復を必要とし、解決された均衡は真の反復的推論の結果をエンコードする。
本稿では,凍結したDeBERTa埋め込みに対するProofWriterエンテーメントと,暗黙的な計算が無音であるBFS検証グラフ到達性ベンチマークという,2つの理由付けタスクを学習初期化したポート・ハミルトンのDQについて,注意深い研究を報告する。
タスク、種、制御されたアブレーションアーム全体では、解法は解法の開始点を数値精度に等しく、解法をバイパスすることで、19回のトレーニングのうち18回のトレーニングでテスト精度を+0.00ポイント以上変更する。
アンカリング項の除去はすべての結果を再現し、ノイズ分離による再訓練は、デコーダが無視することを学習する間、ノイズ分離開始に収束するソルバを生成する。
単一のエスケープランは代わりに$\|h^{*}-z_0\|=171$で分岐し、除去精度が向上する共適応ノイズチャネルを生成する。
繰り返し回数は、地道難易度(r=0.009$)とは無関係であり、完全な装置はどちらのタスクでも2層MLPを上回ることはない。
2つの異なる経路に沿って飢餓を緩和させるメカニズムを辿り、標準のゼロ化アブレーションが共起していることを示し、正しい置換試験が安定なゼロを与えるような大雑把な種依存の回答を与え、主張された暗黙の計算を監査するための4つのテスト診断プロトコルを蒸留する。
すべての実験は1つの無料のColab GPU上で実行され、コード、生ログ、分析スクリプトがリリースされる。
関連論文リスト
- Diffusion as a Training Curriculum for Timestep-Free Iterative Reasoning [1.16829782470264]
任意の深さまで走れる隠れ状態拡散デノイザを導入する。
Sudoku-Extremeでは99.90%、Maze-Uniqueでは98.93%の精度で解決している。
我々は,拡散が常に解き放つ主な要因は,推論におけるサンプリング手順ではなく,認知的学習カリキュラムであることに気付く。
論文 参考訳(メタデータ) (2026-09-01T15:55:01Z) - Caliber: Cross-Architecture Extraction-Cost Control for Score-Returning APIs [27.21644231867863]
Caliberは、キャリブレーション問題としてノイズ選択を定式化するモデル抽出に対する防御である。
知識蒸留に返却されたスコアを使用する攻撃者に対して、Caliberは独立して同一に分散したガウスノイズを内部ロジットに追加する。
Caliberは、正方形中央2対数辺による雑音分散を正規化し、その結果の雑音効用関係をロジスティック曲線に適合させる。
論文 参考訳(メタデータ) (2026-08-02T05:58:00Z) - Search as Computation Allocation [52.080489413778]
多くのアルゴリズムは、決定を返す前に内部リソースを使い、その端末出力の品質によってのみ評価される。
終端計算割当問題などの手順を定式化する。
ベルマン方程式は、固定予算の下での最適割り当て、価格計算、正確な認証を特徴付ける。
論文 参考訳(メタデータ) (2026-07-30T08:45:14Z) - Cost Accounting for Reactive Computational Graphs: Exhaustive Sweeps, Sequential Mutation, and the Backward-Locality Gap [0.0]
我々は、Juliaがニューラルネットワークの計算グラフの介入をどのように扱うかを示す。
我々は、持続的な突然変異の連続の正確なコストを証明し、挿入の間を解き放たない。
また、バッチアプリケーションがどのように順序非依存でサブ付加的であるかを示す。
論文 参考訳(メタデータ) (2026-07-18T00:53:22Z) - Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。
この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。
私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
論文 参考訳(メタデータ) (2026-06-29T08:58:09Z) - Data and Evaluation Closed-Loop for Model Capability Enhancement [8.245706308161504]
評価は直感的ではなく,日常的,監査可能,実験的に検証可能であることを示す。
評価データ間推論は直感的ではなく,日常的,監査可能,実験的に検証可能であることを示す。
論文 参考訳(メタデータ) (2026-06-26T14:45:57Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳(メタデータ) (2026-05-21T09:19:23Z) - PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data [0.0]
PAIR-CIは非パラメトリック条件独立(CI)テストであり,複数の命令を直接推論手順に統合することによりキャリブレーションを回復する。
確率的に一貫した分散推定器は、クロスバリデーションと多重計算による不確かさを共同で説明する。
論文 参考訳(メタデータ) (2026-05-06T12:34:37Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳(メタデータ) (2026-04-20T13:25:40Z) - Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching [66.39914384073145]
本稿では,安価な拡散サンプリング推論をステップレベル候補の再利用プールに変換する自己整合性フレームワークを提案する。
ステップレベルの再結合は、難しい問題に対して最も有益であることがわかった。
トレーニング不要のフレームワークは、6つの数学およびコーディングタスクの平均精度を最大2倍改善します。
論文 参考訳(メタデータ) (2026-02-26T11:08:39Z) - Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。
学習がエラー分布の「ハードテール」を小さくすることを示す。
論文 参考訳(メタデータ) (2026-01-07T10:00:17Z) - INC: An Indirect Neural Corrector for Auto-Regressive Hybrid PDE Solvers [61.84396402100827]
本稿では,学習した補正を支配方程式に統合する間接ニューラルコレクタ(mathrmINC$)を提案する。
$mathrmINC$は、$t-1 + L$の順番でエラー増幅を減らし、$t$はタイムステップ、$L$はリプシッツ定数である。
大規模なベンチマークで$mathrmINC$をテストし、1Dカオスシステムから3D乱流まで、多くの異なる解法、神経バックボーン、テストケースをカバーした。
論文 参考訳(メタデータ) (2025-11-16T20:14:28Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳(メタデータ) (2025-10-01T13:56:44Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳(メタデータ) (2025-09-12T16:51:15Z) - Differentiable Bilevel Programming for Stackelberg Congestion Games [47.60156422249365]
Stackelberg Congestion Game (SCG) において、リーダーは、群集が集まる平衡状態を予測し、操作することで、自身の利益を最大化することを目的としている。
本稿では,従来の手法と機械学習における最新の微分可能プログラミング技術を組み合わせることで,この計算課題に挑戦する。
本稿では,SCGの局所探索アルゴリズムを2つ提案する。第1に,微分可能プログラミングを用いてILDをアンロールすることで導関数を求める勾配降下アルゴリズムを提案する。
第二のアルゴリズムは、フォロワーの進化軌道を短くすることでツイストを加える。
論文 参考訳(メタデータ) (2022-09-15T21:32:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。