論文の概要: Automata-Based Steering of Large Language Models for Diverse Structured Generation
- arxiv url: http://arxiv.org/abs/2511.11018v1
- Date: Fri, 14 Nov 2025 07:10:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-17 22:42:18.471268
- Title: Automata-Based Steering of Large Language Models for Diverse Structured Generation
- Title（参考訳）: 分散構造生成のための大規模言語モデルのオートマタに基づくステアリング
- Authors: Xiaokun Luan, Zeming Wei, Yihao Zhang, Meng Sun,
- Abstract要約: 大規模言語モデル(LLM)は、構造化された出力を生成するタスクが増えている。
構造的生成法は出力の多様性を欠くことが多い。
本稿では,オートマトンに基づく構造生成における多様性を高める新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 11.204314460991895
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly tasked with generating structured outputs. While structured generation methods ensure validity, they often lack output diversity, a critical limitation that we confirm in our preliminary study. We propose a novel method to enhance diversity in automaton-based structured generation. Our approach utilizes automata traversal history to steer LLMs towards novel structural patterns. Evaluations show our method significantly improves structural and content diversity while maintaining comparable generation efficiency. Furthermore, we conduct a case study showcasing the effectiveness of our method in generating diverse test cases for testing open-source libraries.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、構造化された出力を生成するタスクが増えている。
構造的生成手法は有効性を保証するが、出力の多様性が欠如していることが多い。
本稿では,オートマトンに基づく構造生成における多様性を高める新しい手法を提案する。
提案手法は, オートマチック・トラバース・ヒストリーを利用して, LLMを新しい構造パターンに向けて操る。
評価の結果,本手法は同等の生成効率を維持しつつ,構造および内容の多様性を著しく向上させることがわかった。
さらに,オープンソースライブラリのテストにおける多種多様なテストケースの生成において,本手法の有効性を示すケーススタディを実施している。
関連論文リスト
- Post-training Large Language Models for Diverse High-Quality Responses [32.92680825196664]
強化学習 (Reinforcement Learning, RL) は,大規模言語モデル (LLM) の訓練後に一般的な手法として登場した。
決定点プロセス(DPP)に基づくDQO(Diversity Quality Optimization)という新しいトレーニング手法を提案する。
提案手法では,各プロンプトに対して応答群をサンプリングし,次にカーネルベースの類似度行列の行列式を用いて,これらの応答の埋め込みによって分散される体積として多様性を測定する。
論文 参考訳（メタデータ） (2025-09-05T03:47:06Z) - Speed Always Wins: A Survey on Efficient Architectures for Large Language Models [51.817121227562964]
大規模言語モデル(LLM)は、言語理解、生成、推論、マルチモーダルモデルの能力境界の押し付けにおいて、素晴らしい結果をもたらしている。
トランスフォーマーモデルは、現代のLLMの基礎として、優れたスケーリング特性を備えた強力なベースラインを提供する。
従来のトランスフォーマーアーキテクチャは、相当な計算を必要とし、大規模なトレーニングと実践的なデプロイメントに重大な障害を生じさせる。
論文 参考訳（メタデータ） (2025-08-13T14:13:46Z) - A Comparative Study of Task Adaptation Techniques of Large Language Models for Identifying Sustainable Development Goals [39.71115518041856]
本研究では,国連の持続可能な開発目標に焦点をあてた,単一ラベルの多クラステキスト分類タスクを対象とした,プロプライエタリでオープンソースのテキスト分類モデルについて分析する。
その結果、より小さなモデルでは、プロンプトエンジニアリングによって最適化された場合、OpenAIのGPTのような大きなモデルと同等に動作できることが判明した。
論文 参考訳（メタデータ） (2025-06-18T07:42:32Z) - Context-Guided Dynamic Retrieval for Improving Generation Quality in RAG Models [2.9687381456164004]
意味理解と知識スケジューリングの効率化を図るための状態認識型動的知識検索機構を提案する。
提案した構造は, GPT-4, GPT-4o, DeepSeek など,様々な大規模モデルで徹底的に評価されている。
このアプローチはまた、意味的あいまいさとマルチドキュメント融合を含むタスクにおいて、強い堅牢性と生成一貫性を示す。
論文 参考訳（メタデータ） (2025-04-28T02:50:45Z) - Chunk-Distilled Language Modeling [25.238256586953487]
Chunk-Distilled Language Modeling (CD-LM)は、現在の大規模言語モデル(LLM)における2つの課題に対処するテキスト生成のアプローチである。
提案手法は,ディープネットワークベースのLCMと簡単な検索モジュールを組み合わせることで,単一のデコードステップでマルチトークンテキストチャンクを生成する。
論文 参考訳（メタデータ） (2024-12-31T08:32:15Z) - LLMTemporalComparator: A Tool for Analysing Differences in Temporal Adaptations of Large Language Models [17.021220773165016]
本研究では、異なる期間のデータに基づいて訓練された大規模言語モデル(LLM)における時間的不一致を分析することの課題に対処する。
本稿では,ユーザ定義クエリに基づく2つのLLMバージョンの出力を体系的に比較するシステムを提案する。
論文 参考訳（メタデータ） (2024-10-05T15:17:07Z) - Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳（メタデータ） (2024-02-27T14:16:19Z) - Autoregressive Structured Prediction with Language Models [73.11519625765301]
本稿では, PLM を用いた自己回帰的手法を用いて, モデル構造を行動列として記述する。
我々のアプローチは、私たちが見てきた全ての構造化予測タスクにおいて、新しい最先端を実現する。
論文 参考訳（メタデータ） (2022-10-26T13:27:26Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳（メタデータ） (2021-01-02T01:15:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。