論文の概要: Understanding the Benefits of Scaffolds through Computational Separations
- arxiv url: http://arxiv.org/abs/2610.27157v1
- Date: Mon, 19 Oct 2026 18:51:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.475594
- Title: Understanding the Benefits of Scaffolds through Computational Separations
- Title（参考訳）: 計算的分離による肩甲骨の利点の理解
- Abstract要約: 推論時ハーネスは、モデルを何度も呼び出し、呼び出し間で状態を維持する外部プロシージャである。
簡単な足場や小さなモデルであっても、推論時間ハーネスは蒸留された学生よりもかなり優れていることを示す。
- 参考スコア（独自算出の注目度）: 31.202841097451593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inference-time harnesses, i.e., external procedures that call a model many times and keep state across calls, can substantially improve model capabilities. In this paper, we investigate the benefits of using such harnesses and the extent to which these benefits can be internalized through training. More precisely, we conceptualize a harness $\mathcal{A}$ as an arbitrary wrapper around a base model $M$ and attempt to distill a student model from the harness's traces. Empirically we find that, even with simple scaffolds and small models, the inference-time harness significantly outperforms a distilled student. We then prove that such a gap is due to a fundamental representational limitation: inference-time harnesses can compute a closure of their per-call primitive that is $\NL$-complete even when the primitive is a trivial $\AC^0$ lookup, and that no fixed-depth forward pass can represent under the widely believed conjecture that $\NL\not\subseteq\TC^0$. Our theory suggests that expanding the representational capacity of the student relative to the task at hand, e.g., by enlarging the model, making the task easier, or lengthening its chain-of-thought, is necessary to close the gap, which we verify empirically. Finally, we scale to an agentic harness on competition math, where the same gap reappears. Overall, our results show that a harness confers on the base model a profound gain in representational power, one that training a same-class student on its traces cannot transfer back into the weights.
- Abstract（参考訳）: 推論時ハーネス、すなわち、何度もモデルを呼び出す外部プロシージャは、呼び出しをまたいで状態を保ち、モデル機能を大幅に改善することができる。
本稿では,このようなハーネスを利用することのメリットと,これらの利点がトレーニングによって内部化される範囲について検討する。
より正確には、ハーネス$\mathcal{A}$をベースモデル$M$の任意のラッパーとして概念化し、ハーネスのトレースから学生モデルを蒸留しようとする。
実験によって、単純な足場や小さなモデルであっても、推論時のハーネスは蒸留された学生よりもかなり優れていることがわかった。
推論時ハーネスは、プリミティブが自明な$\AC^0$ルックアップである場合でも、コール単位のプリミティブのクロージャを$\NL$-completeで計算でき、$\NL\not\subseteq\TC^0$という広く信じられている予想の下では、固定深度フォワードパスは表現できない。
本理論は,手作業に対する生徒の表現能力の拡大,例えば,モデルの拡大,作業の容易化,思考の連鎖の延長などによって,ギャップを埋めることの必要性を示唆し,それを実証的に検証する。
最後に、同じギャップが再び現れる競合数学のエージェントハーネスにスケールする。
以上の結果から,ベースモデル上のハーネスが表現力を大幅に向上することを示すとともに,同級生をトレースで訓練しても重みに戻すことができないことを示した。
関連論文リスト
- How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。
最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。
我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
論文 参考訳（メタデータ） (2026-03-09T17:38:11Z) - On the Power of (Approximate) Reward Models for Inference-Time Scaling [3.540245474029962]
推論時間スケーリングは、大規模言語モデルの推論能力を改善するための強力なパラダイムとして登場した。
すべてのデプロイされたシステムは、近似的な報酬モデルに依存しており、根本的な疑問を提起している。
近似報酬モデルのベルマン誤差を,SMCに基づく推定時間スケーリングの有効性を規定する鍵となる量として同定する。
論文 参考訳（メタデータ） (2026-02-01T18:28:42Z) - Generalist Reward Models: Found Inside Large Language Models [50.7432354447554]
我々は,従来の次世代予測によって訓練されたLarge Language Models (LLM) の中に,強力な報酬モデルが存在することを示す。
この内因性報酬は、オフライン逆強化学習によって学習された報酬関数ではないことを実証する。
また、この内因性報酬を用いた後続の強化学習が、ベースモデルと比較して明らかに優れたエラー境界を持つポリシーにつながることを証明した。
論文 参考訳（メタデータ） (2025-06-29T13:45:54Z) - Information-Theoretic Framework for Understanding Modern Machine-Learning [4.435094091999926]
本稿では,学習をログ損失下での普遍的な予測とみなす情報理論フレームワークを提案する。
成功するアーキテクチャは幅広い複雑さの範囲を持ち、高度に過度にパラメータ化されたモデルクラスでの学習を可能にしている、と我々は主張する。
この枠組みは、誘導バイアスの役割、降下勾配の効果、および平坦なミニマのような現象に光を当てている。
論文 参考訳（メタデータ） (2025-06-09T11:32:31Z) - Feature Representation Transferring to Lightweight Models via Perception Coherence [7.535952418691443]
より大規模な教師モデルから軽量な学生モデルに特徴表現を伝達する手法を提案する。
オーロラティカルな洞察は、特徴表現伝達の過程に関する確率論的視点を提供する。
論文 参考訳（メタデータ） (2025-05-10T10:55:06Z) - Single-weight Model Editing for Post-hoc Spurious Correlation Neutralization [54.8794775172033]
ニューラルネットワークのトレーニングは、トレーニング損失を最小限に抑えるショートカットとして、最も単純な機能を利用する傾向がある。
これらの特徴のいくつかは、ターゲットラベルと急激な相関関係があり、モデルによる誤った予測につながる可能性がある。
本稿では,一重の修正を行なえる独特な厳密なクラス除去手法を提案する。
論文 参考訳（メタデータ） (2025-01-24T02:22:42Z) - Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step [133.60124577507727]
思考の連鎖は、素数大言語モデルに彼らの予測の合理化を口頭で示すよう促す。
オーダーオブマグニチュードの小さなモデルでも、チェーンオブ思想のプロンプトの恩恵を受けられることを示す。
そこで我々は,より大規模な教師モデルから抽出した合理化に基づいて,より小さな学生モデルを訓練する方法であるChain-of-Thought Distillation (SCoTD)を紹介した。
論文 参考訳（メタデータ） (2023-06-24T20:15:07Z) - Smoothly Giving up: Robustness for Simple Models [30.56684535186692]
このようなモデルをトレーニングするアルゴリズムの例としては、ロジスティック回帰とブースティングがある。
我々は、標準凸損失関数間のチューニングを行う、$Served-Servedジョイント凸損失関数を用いて、そのようなモデルを堅牢に訓練する。
また、ロジスティック回帰のためのCOVID-19データセットを強化し、複数の関連ドメインにまたがる効果のアプローチを強調します。
論文 参考訳（メタデータ） (2023-02-17T19:48:11Z) - Chaos is a Ladder: A New Theoretical Understanding of Contrastive
Learning via Augmentation Overlap [64.60460828425502]
コントラスト学習の下流性能に関する新たな保証を提案する。
我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。
本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
論文 参考訳（メタデータ） (2022-03-25T05:36:26Z) - Revisiting Model Stitching to Compare Neural Representations [8.331711958610347]
我々は、$A$のボトム層と$B$のトップ層とを、それらの間に単純なトレーニング可能な層で接続することによって形成される「スティッチドモデル」を考える。
同じアーキテクチャの優れたネットワークは、非常に異なる方法で訓練されているが、性能を低下させることなく互いに縫合できることが示されています。
また,(1) 以上のデータ,(2) より大きな幅,(3) 以上のトレーニング時間で学習した表現が,より弱いモデルに"プラグイン"して性能を向上させることができることを示すことによって,「もっとよい」という直感の証拠を与える。
論文 参考訳（メタデータ） (2021-06-14T18:05:10Z) - Remembering for the Right Reasons: Explanations Reduce Catastrophic
Forgetting [100.75479161884935]
我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。
RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。
メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
論文 参考訳（メタデータ） (2020-10-04T10:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。