論文の概要: SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data
- arxiv url: http://arxiv.org/abs/2606.16276v2
- Date: Wed, 17 Jun 2026 06:16:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-18 13:57:35.200898
- Title: SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data
- Title（参考訳）: SpecAlign: 合成データによる大規模言語モデルの効率的な仕様付きアライメント
- Authors: Wenjie Wang, Yue Huang, Zhengqing Yuan, Han Bao, Shiyi Du, Yuchen Ma, Yue Zhao, Yanfang Ye, Xiangliang Zhang,
- Abstract要約: 我々は、プロバイダが承認したモデル仕様を主アライメントターゲットとして扱う新しいアライメントパラダイムである仕様基底アライメントを提案する。
仕様文書から直接アライメントデータを合成するフレームワークであるSpecAlignを紹介する。
- 参考スコア（独自算出の注目度）: 46.83043333985018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models (LLMs) are increasingly deployed in real-world applications, alignment is no longer governed by a single universal notion of safety or helpfulness, but instead by provider- or application-specific model specifications. These specifications are typically long, structured, and frequently updated, yet existing alignment pipelines lack a systematic mechanism to operationalize them as training signals. In this paper, we propose specification-grounded alignment, a new alignment paradigm that treats provider-authored model specifications as the primary alignment target rather than abstract principles or static benchmarks. To instantiate this paradigm, we introduce SpecAlign, a framework that synthesizes alignment data directly from specification documents. SpecAlign combines structured rule annotation, controllable specification instantiation, and multi-agent adversarial data synthesis to generate fine-grained, boundary-aware preference pairs that capture both compliant behaviors and meaningful specification violations. Experiments across multiple model specifications and backbone models demonstrate that training with SpecAlign consistently improves rule compliance while preserving general capabilities and avoiding over-conservative behavior. These results suggest that grounding alignment in explicit model specifications enables rapid, precise, and scalable adaptation of LLM behavior to evolving policy requirements.
- Abstract（参考訳）: 大規模言語モデル(LLM)が現実世界のアプリケーションにますますデプロイされるにつれて、アライメントは安全や有用性の単一の普遍的な概念によって管理されるのではなく、プロバイダやアプリケーション固有のモデル仕様によって管理される。
これらの仕様は通常、長く、構造化され、頻繁に更新されるが、既存のアライメントパイプラインでは、トレーニング信号として運用するための体系的なメカニズムが欠如している。
本稿では,概念的原則や静的ベンチマークではなく,プロバイダが承認するモデル仕様を主アライメントターゲットとして扱う新たなアライメントパラダイムである仕様グラウンドアライメントを提案する。
このパラダイムをインスタンス化するために、仕様文書から直接アライメントデータを合成するフレームワークであるSpecAlignを紹介します。
SpecAlignは構造化されたルールアノテーション、制御可能な仕様インスタンス化、およびマルチエージェントの逆データ合成を組み合わせることで、準拠する振る舞いと有意義な仕様違反の両方をキャプチャする、きめ細かい境界対応の選好ペアを生成する。
複数のモデル仕様とバックボーンモデルにわたる実験では、SpecAlignを使用したトレーニングは、一般的な機能を保持しながら、過保守な振る舞いを回避しながら、規則の遵守を一貫して改善することを示した。
これらの結果は、明示的なモデル仕様における基底アライメントは、LLMの行動の迅速かつ正確かつスケーラブルな適応を可能にすることを示唆している。
関連論文リスト
- Neuro-Symbolic Agents for Hallucination-Free Requirements Reuse [0.0]
本稿では,要求の再利用をモデル駆動型励磁プロセスとして再概念化する,ニューロシンボリックなマルチエージェントシステムを提案する。
本システムは,100%要件カバレッジと制約違反率を0.2%で達成する。
論文 参考訳（メタデータ） (2026-05-02T18:16:04Z) - VeriAct: Beyond Verifiability -- Agentic Synthesis of Correct and Complete Formal Specifications [0.3240750198587795]
自動JML仕様合成における古典的手法と急進的手法を比較した。
提案手法は,構造化された検証フィードバックを用いて,プロンプトを進化させることにより,合成品質をさらに向上させることができるかを検討する。
本稿では,検証誘導型エージェントフレームワークであるVeriActを提案する。
論文 参考訳（メタデータ） (2026-03-31T22:12:15Z) - Specification-Driven Generation and Evaluation of Discrete-Event World Models via the DEVS Formalism [9.578714623643291]
我々は,明示的なシミュレータの信頼性と学習モデルの柔軟性を両立させる原理的な中間層を求める。
我々は、自然言語仕様から直接合成された明示的で実行可能な離散的世界モデルを提案する。
論文 参考訳（メタデータ） (2026-03-04T06:50:32Z) - Alignment-Aware Model Adaptation via Feedback-Guided Optimization [27.93864970404945]
ファインチューニングは、ファンデーションモデルを下流タスクに適応するための主要なメカニズムである。
本稿では,外部アライメント信号からのフィードバックをポリシー段階の正規化を通じて統合するアライメント対応微調整フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-02T16:03:16Z) - Data Dependency-Aware Code Generation from Enhanced UML Sequence Diagrams [54.528185120850274]
本稿では,API2Depという新しいステップバイステップコード生成フレームワークを提案する。
まず、サービス指向アーキテクチャに適した拡張Unified Modeling Language (UML) APIダイアグラムを紹介します。
次に、データフローの重要な役割を認識し、専用のデータ依存推論タスクを導入する。
論文 参考訳（メタデータ） (2025-08-05T12:28:23Z) - Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。
本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。
本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-05-26T08:53:02Z) - Spatial-Temporal-Spectral Unified Modeling for Remote Sensing Dense Prediction [20.1863553357121]
リモートセンシングのための現在のディープラーニングアーキテクチャは、基本的に堅固である。
本稿では,統合モデリングのための空間時間スペクトル統一ネットワーク(STSUN)について紹介する。
STSUNは任意の空間サイズ、時間長、スペクトル帯域で入力および出力データに適応することができる。
様々な密集した予測タスクと多様な意味クラス予測を統一する。
論文 参考訳（メタデータ） (2025-05-18T07:39:17Z) - SoFA: Shielded On-the-fly Alignment via Priority Rule Following [90.32819418613407]
本稿では,各ダイアログにおけるルールを主制御機構として定義する,新たなアライメントパラダイムである優先ルールを提案する。
そこで本研究では,厳密な規則統合と固着性を確保するために,シミュレーションから優先信号に従う半自動蒸留手法であるプライオリティディスティルを提案する。
論文 参考訳（メタデータ） (2024-02-27T09:52:27Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。