論文の概要: Implicit Style Conditioning: A Structured Style-Rewrite Framework for Low-Resource Character Modeling
- arxiv url: http://arxiv.org/abs/2603.05933v1
- Date: Fri, 06 Mar 2026 06:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-09 13:17:45.117207
- Title: Implicit Style Conditioning: A Structured Style-Rewrite Framework for Low-Resource Character Modeling
- Title(参考訳): Implicit Style Conditioning:低リソース文字モデリングのための構造化スタイル書き換えフレームワーク
- Authors: Chanhui Zhu,
- Abstract要約: 高度にスタイル化されたペルソナを持つ小言語モデル(SLM)は、データの不足とスタイルの絡み合いの複雑さのため、依然として課題である。
本稿では,スタイルを3つの解釈可能な次元に明示的に切り離す構造化スタイル書き換えフレームワークを提案する。
学習中の明確な推論トレースを強い帰納バイアスとして活用することにより、我々のアプローチはモデルの潜在表現と構造化されたスタイルの特徴を一致させる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have demonstrated impressive capabilities in role-playing (RP); however, small Language Models (SLMs) with highly stylized personas remains a challenge due to data scarcity and the complexity of style disentanglement. Standard Supervised Fine-Tuning (SFT) often captures surface-level semantics while failing to reproduce the intricate syntactic and pragmatic nuances of a character, leading to "Out-Of-Character" (OOC) generation. To address this, we propose a Structured Style-Rewrite Framework that explicitly disentangles style into three interpretable dimensions: lexical signatures (via PMI), syntactic patterns (grounded in PCFG rules), and pragmatic style. Furthermore, we introduce an implicit style conditioning strategy via Chain-of-Thought (CoT) distillation. By leveraging explicit reasoning traces during training as a strong inductive bias, our approach aligns the model's latent representations with structured style features, enabling high-fidelity stylized generation without requiring explicit reasoning tokens during inference. Extensive experiments on a specific high-stylization domain (anime characters) demonstrate that our method enables a Qwen-1.7B model to outperform significantly larger baselines (e.g., 4B Vanilla SFT) in style consistency and semantic fidelity. Our approach offers a data-efficient paradigm for democratizing inference and deployment on consumer hardware.
- Abstract(参考訳): LLM(Large Language Models)は、ロールプレイング(RP)において印象的な能力を示しているが、データ不足とスタイルの複雑化のため、高度にスタイル化されたペルソナを持つ小さな言語モデル(SLM)は依然として課題である。
SFT (Standard Supervised Fine-Tuning) は、文字の複雑な構文と実用的ニュアンスを再現できず、しばしば表面レベルの意味をキャプチャし、"Out-Of-Character" (OOC) の生成につながる。
そこで本研究では,構文パターン(PCFG規則に基づく)と構文パターン(PMIによる)の3つの解釈可能な次元に,スタイルを明示的に切り離す構造的スタイル書き換えフレームワークを提案する。
さらに, チェイン・オブ・ソート (CoT) 蒸留による暗黙的条件付け手法を導入する。
学習中の明示的な推論トレースを強い帰納バイアスとして活用することにより,提案手法はモデルの潜在表現を構造化されたスタイル特徴と整合させ,推論中に明示的な推論トークンを必要とせずに高忠実なスタイル化生成を可能にする。
本手法により,Qwen-1.7Bモデルにより,より大きなベースライン(例えば,4B Vanilla SFT)を,スタイルの整合性とセマンティックな忠実さで向上させることができる。
当社のアプローチは,コンシューマハードウェア上での推論とデプロイメントを民主化する上で,データ効率のパラダイムを提供します。
関連論文リスト
- Controlling Chat Style in Language Models via Single-Direction Editing [43.11304710234668]
本稿では,モデルのアクティベーション空間において,異なるスタイリスティック属性が線形方向として符号化されるという仮説を検証した。
そこで我々は,厳密なスタイル制御のための軽量でトレーニング不要な手法を提案する。
提案手法は, 線形スタイル構成をサポートし, 好ましくない動作を損なうことにより安全性を高めるとともに, 10 モデル以上の実験により, 最小計算コストでコア能力を保ちながら, 高いスタイルの順守を実現する。
論文 参考訳(メタデータ) (2026-02-10T06:05:04Z) - StyDeco: Unsupervised Style Transfer with Distilling Priors and Semantic Decoupling [5.12285618196312]
StyDecoは、スタイル転送タスクに適したテキスト表現を学習する教師なしのフレームワークである。
本フレームワークは, 構造的忠実度と構造的保存性の両方において, 既存手法より優れる。
論文 参考訳(メタデータ) (2025-08-02T06:17:23Z) - Local Prompt Adaptation for Style-Consistent Multi-Object Generation in Diffusion Models [0.0]
Local Prompt Adaptation (LPA) は、プロンプトをコンテンツやスタイルトークンに注入する、軽量でトレーニング不要な手法である。
T2Iベンチマークでは、LPAはバニラSDXLのCLIP-promptアライメントを+0.41%、SD1.5の+0.34%改善し、多様性を損なわない。
カスタムの50プロンプトスタイルリッチベンチマークでは、LPAは+0.09%のCLIPプロンプトと+0.08%のCLIPスタイルのゲインを達成した。
論文 参考訳(メタデータ) (2025-07-27T01:32:13Z) - HiCAST: Highly Customized Arbitrary Style Transfer with Adapter Enhanced
Diffusion Models [84.12784265734238]
Arbitrary Style Transfer (AST)の目標は、あるスタイル参照の芸術的特徴を所定の画像/ビデオに注入することである。
各種のセマンティックな手がかりに基づいてスタイリング結果を明示的にカスタマイズできるHiCASTを提案する。
新たな学習目標をビデオ拡散モデルトレーニングに活用し,フレーム間の時間的一貫性を大幅に向上させる。
論文 参考訳(メタデータ) (2024-01-11T12:26:23Z) - ParaGuide: Guided Diffusion Paraphrasers for Plug-and-Play Textual Style
Transfer [57.6482608202409]
テキストスタイル転送は、意味を保ちながらテキストのスタイル特性を変換するタスクである。
任意のスタイルに柔軟に適応できる汎用型転送のための新しい拡散型フレームワークを提案する。
本研究では,人的評価と自動評価の両面から,Enron Email Corpusの手法を検証するとともに,形式性,感情,さらにはオーサシップスタイルの伝達にも優れることを示す。
論文 参考訳(メタデータ) (2023-08-29T17:36:02Z) - GestureDiffuCLIP: Gesture Diffusion Model with CLIP Latents [3.229105662984031]
GestureDiffuCLIPは、フレキシブルなスタイル制御を備えたリアルでスタイル化された音声合成ジェスチャを合成するためのニューラルネットワークフレームワークである。
本システムは,高品質なジェスチャを生成するために潜時拡散モデルを学び,CLIP表現をジェネレータに注入する。
我々のシステムは、個々の身体部分のきめ細かいスタイル制御を可能にするよう拡張することができる。
論文 参考訳(メタデータ) (2023-03-26T03:35:46Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained
Text Style Transfer [119.70961704127157]
近年,非並列テキストスタイルの転送が研究の関心を集めている。
現在のアプローチでは、元の文の内容やロジックを保存できない。
文を言語グラフとしてモデル化し,グラフレベルで特徴抽出とスタイル転送を行う,グラフトランスフォーマーベースのAuto-GTAEを提案する。
論文 参考訳(メタデータ) (2021-02-01T11:08:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。