論文の概要: Compiling Deterministic Structure into SLM Harnesses
- arxiv url: http://arxiv.org/abs/2604.17450v1
- Date: Sun, 19 Apr 2026 14:04:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.529265
- Title: Compiling Deterministic Structure into SLM Harnesses
- Title（参考訳）: SLMハーネスに決定論的構造をコンパイルする
- Authors: Zan Kai Chong, Hiroyuki Ohsaki, Bryan Ng,
- Abstract要約: 小型言語モデル(SLM)は高価であり、大量使用にはデータ主権が制限される。
本稿では,エージェント改善を個別実行計画にコンパイルするSGDe(Semantic Gradient Descent)を提案する。
- 参考スコア（独自算出の注目度）: 0.6117371161379209
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Enterprise deployment of small language models (SLMs) is constrained by epistemic asymmetry: SLMs cannot self-correct reasoning errors, while frontier LLMs are prohibitively costly and face data sovereignty limits for high-volume use. We propose Semantic Gradient Descent (SGDe), a teacher-student framework that compiles agentic workflows into discrete execution plans comprising DAG topologies, system prompts, and deterministic executable code. The trailing "e" distinguishes SGDe from stochastic gradient descent. SGDe operates in a discrete semantic space where a frontier teacher generates natural-language critiques acting as directional gradients to iteratively refine the SLM's workflow artefacts. We formalise SGDe within a PAC learning framework, establishing sample-complexity bounds that enable convergence with as few as three training examples on targeted synthetic tasks by leveraging the teacher as a statistical prior. On a GSM-Hard-derived test set built via adversarial synthesis, compiled workflows reach 91.3% accuracy at m=5 and 99.3% at m=3 within the small-m regime motivated by Corollary 1, a +26.3% to +34.3% absolute improvement over state-of-the-art prompt optimisers. In the emerging paradigm of harness engineering, SGDe treats placement of deterministic code (which subtasks to delegate to a Python runtime versus retain as LLM calls) as a trace-driven, per-node optimisation target, generalising the whole-problem offloading of PAL and PoT. The teacher compiles two complementary deterministic structures: capability offloading, which delegates subtasks to Python when the SLM cannot execute them reliably, and structural consensus, which wraps variance-limited reasoning steps in fan-out/fan-in subgraphs aggregated by deterministic voting.
- Abstract（参考訳）: スモールランゲージモデル(SLM)の企業展開は、エピステマティックな非対称性によって制約されている: SLMは自己修正推論の誤りを犯すことはできないが、フロンティアのLSMは、高ボリューム使用のためにデータ主権の制限に直面している。
エージェントワークフローをDAGトポロジ、システムプロンプト、決定論的実行可能コードからなる個別実行計画にコンパイルする教師学習フレームワークであるSemantic Gradient Descent (SGDe)を提案する。
後続の「e」は確率勾配降下とSGDeを区別する。
SGDeは、フロンティア教師がSLMのワークフローアーティファクトを反復的に洗練するための方向性勾配として機能する自然言語批評を生成する、独立したセマンティック空間で動作する。
PAC学習フレームワーク内でSGDeを定式化し,教師を統計的先行として活用することにより,対象とする合成タスクの学習例を最大3つにまとめることのできるサンプル複雑境界を確立する。
逆合成によって構築されたGSM-Hard由来のテストセットでは、コンパイルワークフローはm=5で91.3%、m=3で99.3%に達する。
新たなハーネスエンジニアリングのパラダイムでは、SGDeは決定論的コードの配置(Pythonランタイムへの委譲とLLMコールの保持をサブタスクとする)をトレース駆動のノードごとの最適化ターゲットとして扱い、PALとPoTの全体的なオフロードを一般化している。
教師は2つの補完的な決定論的構造をコンパイルする: 機能オフロード: SLMがそれらを確実に実行できない時にサブタスクをPythonに委譲する機能オフロードと、決定論的投票によって集計されたファンアウト/ファンインのサブグラフの分散制限推論ステップをラップする構造的コンセンサス。
関連論文リスト
- From Agent Loops to Structured Graphs:A Scheduler-Theoretic Framework for LLM Agent Execution [1.8222732878503212]
LLMベースのエージェントを構築するための主要なパラダイムはエージェントループ(Agent Loop)である。
この観点では、エージェントループとグラフベースの実行エンジンを単一のセマンティック連続体に配置する。
暗黙の文脈から暗黙の静的DAGへ制御フローを上昇させるSGHを提案する。
論文 参考訳（メタデータ） (2026-04-13T12:16:45Z) - Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards [76.49428173793386]
LLMは、中間出力を伝搬しながら、正しい順序で複数の依存APIを呼び出す必要がある。
既存の環境は、シミュレーションデータを使った単純なターン毎の関数呼び出しとバイナリ報酬に重点を置いている。
まず、実APIレスポンスの大規模キャッシュを背景とした強化学習環境を構築し、有効なマルチステップオーケストレーショントレースをサンプリングするデータ合成パイプラインを実現する。
第二に、正当性を原子の妥当性とオーケストレーションに分解する、段階的な報酬設計を提案する。
論文 参考訳（メタデータ） (2026-03-25T18:31:39Z) - Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。
テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。
そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
論文 参考訳（メタデータ） (2026-02-02T09:14:51Z) - Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression [55.51959317490934]
大規模言語モデル(LLM)は、テキスト分散グラフ(TAG)理解において有望な能力を示している。
グラフは本来、構造情報や意味情報を豊富に含むものであり、それらの有効利用はLLMの推論性能の潜在的な利益を解放する可能性があると論じる。
グラフホモフィリーの活用を目的としたフレームワーク LLMs (HS2C) のホモフィリー対応構造とセマンティック圧縮を提案する。
論文 参考訳（メタデータ） (2026-01-13T03:35:18Z) - Managing the Stochastic: Foundations of Learning in Neuro-Symbolic Systems for Software Engineering [0.27195102129094995]
AIコーディングエージェントに対する現在のアプローチは、大規模言語モデルとエージェント自体の境界を曖昧にしている。
本稿では, LLM が環境環境の構成要素として扱われるように制御境界を設定することを提案する。
論文 参考訳（メタデータ） (2025-12-18T15:28:21Z) - Zero-shot 3D Map Generation with LLM Agents: A Dual-Agent Architecture for Procedural Content Generation [8.398818816613806]
ゼロショットPCGパラメータ設定にLLMエージェントを利用する学習自由アーキテクチャを提案する。
我々のシステムはアクターエージェントとCriticエージェントをペアリングし、ツールパラメータを自律的に理由づける反復ワークフローを可能にする。
論文 参考訳（メタデータ） (2025-12-11T10:22:02Z) - ReflecSched: Solving Dynamic Flexible Job-Shop Scheduling via LLM-Powered Hierarchical Reflection [4.101501114944147]
ReflecSchedは、直接スケジューラ以上の LLM を強化するフレームワークである。
複数の計画地平線にまたがるシミュレーションを、簡潔で自然言語の要約に蒸留する。
この要約は、最終的な意思決定モジュールのプロンプトに統合され、非ミオピックアクションを生成するためのガイドとなる。
論文 参考訳（メタデータ） (2025-08-03T11:26:35Z) - SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。
我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。
我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2023-05-16T17:55:51Z) - How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。
我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。
この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
論文 参考訳（メタデータ） (2021-05-05T17:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。