論文の概要: Distilling Foundation Models for Agentic What-If Reasoning:Cost, Latency, and Governance in a Hybrid LLM+SLM Architecture

• arxiv url: http://arxiv.org/abs/2609.16091v1
• Date: Mon, 14 Sep 2026 11:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.151094
• Title: Distilling Foundation Models for Agentic What-If Reasoning:Cost, Latency, and Governance in a Hybrid LLM+SLM Architecture
• Title（参考訳）: エージェント・アワー・推論のための蒸留基礎モデル:ハイブリッドLLM+SLMアーキテクチャにおけるコスト・レイテンシ・ガバナンス
• Abstract要約: タブラル基礎モデルは、コンテキスト内学習を通じて強いゼロトレーニング予測性能を提供するが、その高い推論遅延は、インタラクティブなエージェントループにおけるホットパス決定バックエンドとして実用的ではない。 UCIアダルトとOpenMLの5つのベンチマークに基づいて,TabPFNの教師を小型のフィードフォワードの学生に蒸留する。 学生は95.4-100.5%の精度と96.8-100.0%のAUCを維持しており、クレジットgの保持率が最も低い95.4%である。
• 参考スコア（独自算出の注目度）: 4.205733518246009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models deliver strong zero-training predictive performance via in-context learning, but their high inference latency makes them impractical as hot-path decision backends in interactive agentic loops. We distill a TabPFN teacher into a compact feed-forward student across a business-decision simulation on UCI Adult and five OpenML benchmarks: the classification head compresses 53.2M parameters to 8,546 (6,220x); the deployed two-head loan pipeline compresses 111.4M parameters to 17,059 (6,532x). The student retains 95.4-100.5% accuracy and 96.8-100.0% AUC, with the lowest accuracy retention on credit-g at 95.4%; an alpha = 0 hard-label control shows that the teacher's soft targets provide a 2.1-7.0 AUC point gain.
• Abstract（参考訳）: タブラル基礎モデルは、コンテキスト内学習を通じて強いゼロトレーニング予測性能を提供するが、その高い推論遅延は、インタラクティブなエージェントループにおけるホットパス決定バックエンドとして実用的ではない。 分類ヘッドは53.2Mパラメータを8,546 (6,220x)に圧縮し、デプロイされた2つのヘッドローンパイプラインは111.4Mパラメータを17,059 (6,532x)に圧縮する。 学生は95.4-100.5%の精度と96.8-100.0%のAUCを保持し、クレジットgの最低精度は95.4%であり、アルファ=0のハードラベルコントロールは教師のソフトターゲットが2.1-7.0のAUCポイントゲインを提供することを示している。

関連論文リスト

• ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search [54.43696074323815]
  ZGCM-1は、極端なデータ、システム、アルゴリズムの効率でゼロから訓練された、完全にオープンな7Bファンデーションモデルである。 エージェントがクラスタ操作を自律的に管理する、AIネイティブなR&Dワークフローを確立します。 ZGCM-1-7Bは一般的なベンチマークで7Bモデルファミリ間で競合する。
  論文  参考訳（メタデータ） (2026-09-11T17:18:04Z)
• Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation [4.571228446381617]
  トレーディングアップレコメンデーションは、アップグレードされた利益を提供しながら顧客の購入意図を維持する高品質な代替手段を特定する。 大規模言語モデル(LLM)はそのような区別を推論することができるが、数億の製品に直接適用することは運用上不可能である。 我々は, LLM推論を効率的な非生成的学生に蒸留し, その意思決定境界を製品タイプ固有のトレードオフ基準に適合させる2段階の枠組みを導入する。
  論文  参考訳（メタデータ） (2026-09-04T17:08:50Z)
• Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs [104.11820606942855]
  Video-ORA-9Bは4,780ミリ秒ではなく130ミリ秒でデコードされる。 OraRLはモデルのサイズとデータでスケールし、バックボーンを0.8Bから9B、GRPOを最大100kのプロンプトに超える。
  論文  参考訳（メタデータ） (2026-08-20T18:28:19Z)
• Models for minimalist RAG: B1ade 335M Embedding and 1B Parameter Small Language Models [2.1665689529884697]
  本稿では,コンパクトな埋め込みモデルと汎用SLMの2つのコンポーネントからなる効率的なRAGアーキテクチャであるB1adeについて述べる。 5つの事前訓練エンコーダのパラメータフリー融合により構築された335Mパラメータ検索モデルであるB1ade-embedは、追加トレーニングをゼロとした500M未満モデルの上位MTEBスコアを達成する。 B1ade-1Bは42.4%の反応で回収された通路を引用し、トレーニング分布の寄与率を5.5ポイント上回っている。
  論文  参考訳（メタデータ） (2026-07-29T22:41:25Z)
• Multi-Teacher Contrastive Distillation for Edge-Efficient Pathology Foundation Models [1.9573380763700714]
  複数のPFMから小型エッジ指向エンコーダに冷凍タイル埋め込みを蒸留する事前学習フレームワーク MuCoDi を提案する。 11.8KのWSIから14.3MのTCGAタイルをプレトレーニングし、23の下流分類タスクで凍結エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2026-07-06T18:14:37Z)
• Knowledge Distillation from Large Reasoning Models to Compact Student Models: A Case Study on the John O Bryan Mathematics Competition [0.0]
  We build a Chain-of-Thought training corpus through a dual-agent framework。 このデータセットは、Apple Siliconハードウェア上でLow-Rank Adaptation (LoRA)を使用して、学生モデルを微調整するために使用される。
  論文  参考訳（メタデータ） (2026-06-30T02:34:45Z)
• FIPO: Eliciting Deep Reasoning with Future-KL Influenced Policy Optimization [84.58281577727566]
  本稿では,大規模言語モデルにおける推論ボトルネックを克服する強化学習アルゴリズムであるFuture-KL Influenced Policy Optimization (FIPO)を提案する。 FIPOは、割引先KLの分岐をポリシー更新に組み込むことでこの問題に対処し、その後の軌道行動への影響に基づいてトークンを再重み付けする密集した有利な定式化を作成する。 Qwen2.5-32Bで評価され、FIPOは平均チェーン長を約4,000から10,000以上のトークンに拡張し、AIME 2024 Pass@1の精度を50.0%から58.0%に向上させた。
  論文  参考訳（メタデータ） (2026-03-20T10:24:50Z)
• Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters [169.7981969517903]
  Step 3.5 Flashは、フロンティアレベルのエージェントインテリジェンスと計算効率を橋渡しする。 エージェントを構築する上で最も重要なもの、すなわち、シャープな推論と高速で信頼性の高い実行に重点を置いています。
  論文  参考訳（メタデータ） (2026-02-11T07:53:51Z)
• SmolTulu: Higher Learning Rate to Batch Size Ratios Can Lead to Better Reasoning in SLMs [0.0]
  本稿では,Hugingface の SmolLM2-1.7B ベースモデルを強化するために,AllenAI の Tulu 3 ポストトレーニングパイプラインを適応した命令チューニング言語モデル SmolTulu を提案する。 ARCやGSM8Kのような推論タスクは高い学習率からバッチサイズ比の恩恵を受ける一方、HellaSwagやIFEvalのようなパターン認識タスクは低い比率で最適な性能を示す。
  論文  参考訳（メタデータ） (2024-12-11T12:41:36Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。