論文の概要: Type-Compliant Adaptation Cascades: Adapting Programmatic LM Workflows to Data

• arxiv url: http://arxiv.org/abs/2508.18244v1
• Date: Mon, 25 Aug 2025 17:36:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.89554
• Title: Type-Compliant Adaptation Cascades: Adapting Programmatic LM Workflows to Data
• Title（参考訳）: Type-Compliant Adaptation Cascades: プログラム型LMワークフローをデータに適用する
• Authors: Chu-Cheng Lin, Daiyi Peng, Yifeng Lu, Ming Zhang, Eugene Ie,
• Abstract要約: 本稿では,ワークフロー適応を学習型確率プログラムとして再放送するフレームワークであるType-Compliant Adaptation Cascades (TACs)を紹介する。 経験的に、TACは最先端のプロンプト最適化ベースラインを著しく上回る。
• 参考スコア（独自算出の注目度）: 12.136710894967088
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliably composing Large Language Models (LLMs) for complex, multi-step workflows remains a significant challenge. The dominant paradigm-optimizing discrete prompts in a pipeline-is notoriously brittle and struggles to enforce the formal compliance required for structured tasks. We introduce Type-Compliant Adaptation Cascades (TACs), a framework that recasts workflow adaptation as learning typed probabilistic programs. TACs treats the entire workflow, which is composed of parameter-efficiently adapted LLMs and deterministic logic, as an unnormalized joint distribution. This enables principled, gradient-based training even with latent intermediate structures. We provide theoretical justification for our tractable optimization objective, proving that the optimization bias vanishes as the model learns type compliance. Empirically, TACs significantly outperforms state-of-the-art prompt-optimization baselines. Gains are particularly pronounced on structured tasks, improving MGSM-SymPy from $57.1\%$ to $75.9\%$ for a 27B model, MGSM from $1.6\%$ to $27.3\%$ for a 7B model. TACs offers a robust and theoretically grounded paradigm for developing reliable, task-compliant LLM systems.
• Abstract（参考訳）: 複雑なマルチステップワークフローのために、LLM(Large Language Models)を確実に構成することは、依然として大きな課題である。 パイプラインで支配的なパラダイムを最適化する離散的なプロンプトは不安定で、構造化タスクに必要な形式的なコンプライアンスを強制するのに苦労している。 本稿では,ワークフロー適応を学習型確率プログラムとして再放送するフレームワークであるType-Compliant Adaptation Cascades (TACs)を紹介する。 TACはパラメータに適応したLLMと決定論的論理からなるワークフロー全体を、非正規化された関節分布として扱う。 これにより、潜伏中間構造であっても、原則的、勾配に基づくトレーニングが可能になる。 モデルが型コンプライアンスを学ぶと、最適化バイアスがなくなることを証明し、抽出可能な最適化の目的に対して理論的に正当化する。 経験的に、TACは最先端のプロンプト最適化ベースラインを著しく上回る。 MGSM-SymPyは$57.1\%から$75.9\%に改善され、MGSMは$1.6\%から$27.3\%に改善された。 TACは信頼性のあるタスク準拠のLLMシステムを開発するための、堅牢で理論的に基礎的なパラダイムを提供する。

関連論文リスト

• TaoSR1: The Thinking Model for E-commerce Relevance Search [8.532849325470632]
  BERTベースのモデルはセマンティックマッチングが優れているが、複雑な推論能力がない。 本稿では,このタスクのために大規模言語モデルを直接デプロイするフレームワークを提案する。このフレームワークは,CoT(Chain-of-Thought)エラーの蓄積,差別的幻覚,デプロイメント実現可能性など,主要な課題に対処する。 筆者らのフレームワークであるTaoSR1は,(1)CoTを用いた教師付ファインチューニング(SFT),(2)パス@N戦略によるオフラインサンプリングとDPOによる生成品質向上,(3)グループ相対政策最適化(GRPO)による難易度に基づく動的サンプリングの3段階からなる。
  論文  参考訳（メタデータ） (2025-08-17T13:48:48Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [50.19188692497892]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• Meta-Learning Adaptable Foundation Models [37.458141335750696]
  本稿では,PEFTを組み込んだメタラーニングフレームワークを導入し,未知のタスクに容易に適応可能なモデルを学習する。 この設定では、適応可能なパラメータの集合を見つけるための標準再訓練の準最適性を示す。 次に、これらの理論的洞察をRoBERTaモデルの再訓練に適用し、ConvAI2データセット内の会話の継続を予測する。
  論文  参考訳（メタデータ） (2024-10-29T17:24:18Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。