論文の概要: Reason in Style: Discovering and Controlling Style in Language Models

• arxiv url: http://arxiv.org/abs/2610.00724v1
• Date: Wed, 30 Sep 2026 21:15:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.769707
• Title: Reason in Style: Discovering and Controlling Style in Language Models
• Title（参考訳）: スタイルの推論:言語モデルにおけるスタイルの発見と制御
• Abstract要約: モデル応答における繰り返しのスタイルが、監督なしに発見され、明示的に制御されるかどうかを考察する。 言語モデルの出力からコンテンツとスタイルの表現を分離するアルゴリズムを設計する。 問題を解決する確率は、私たちが条件付けしているスタイルに依存し、異なる問題は異なるスタイルから恩恵を受ける。
• 参考スコア（独自算出の注目度）: 38.52385081212209
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Language models learn content and style jointly, making stylistic variation in their outputs difficult to identify and control. We study whether recurring styles in model responses can be discovered without supervision and explicitly controlled. We design an algorithm that learns to separate representations of content and style from language models' outputs and validate its effectiveness on math questions in a controlled setting. By applying this method to over 100K verified traces from nine distinct teacher models, we discover six recurring yet imbalanced styles. We then fine-tune smaller student models to follow these styles when explicitly conditioned on them, using importance weighting to balance the contribution of the styles represented in the corpus. This approach improves Pass@$k$ over standard fine-tuning on the same data across six math reasoning benchmarks, demonstrating that we can diversify the style of answers effectively. We confirm that this also results in strong correspondence between requested and realized styles. We find that style affects correctness: the probability of solving a problem depends on the style we condition on, and different problems benefit from different styles. In summary, our results show that stylistic variation in model-generated data can be discovered in an unsupervised way, and made explicit, providing a source of both control and improved reasoning performance.
• Abstract（参考訳）: 言語モデルは、コンテンツとスタイルを共同で学習し、アウトプットのスタイリスティックなバリエーションを識別し制御することが困難になる。 モデル応答における繰り返しのスタイルが、監督なしに発見され、明示的に制御されるかどうかを考察する。 我々は,言語モデルの出力から内容とスタイルの表現を分離するアルゴリズムを設計し,制御された環境での数学的問題に対するその有効性を検証する。 この手法を9つの異なる教師モデルから得られた100K以上の痕跡に応用することにより、6つの繰り返しながらバランスの取れないスタイルを発見する。 次に、これらのスタイルを明示的に条件付けした場合に、より小さな学生モデルを微調整し、重み付けを用いて、コーパスに表されるスタイルのコントリビューションのバランスをとる。 このアプローチは6つの数学推論ベンチマークで同じデータに対する標準の微調整よりもPass@$k$を改善し、回答のスタイルを効果的に多様化できることを実証する。 また,要求されたスタイルと実現されたスタイルとの強い対応性も確認する。 問題を解決する確率は、私たちが条件付けしているスタイルに依存し、異なる問題は異なるスタイルから恩恵を受ける。 以上の結果から,モデル生成データのスタイリスティックな変動は教師なしの方法で検出でき,明示的であり,制御の源泉と推論性能の向上の両立を図った。

関連論文リスト

• Dynamic Multi-Reward Weighting for Multi-Style Controllable Generation [15.959784404955402]
  テクストスタイルは、対人的ダイナミクス(フォーマル性など)や著者の感情や態度(嫌悪感など)など、多様な情報の集合を表現する オープンな疑問は、言語モデルを明示的に制御して、テキストを生成する際にターゲットスタイルを織り合わせる方法だ。 このような制御された生成の1つのアプローチは、多目的強化学習(RL)である。 判別器の校正出力や,判別器の大きさによる動的重み付けなど,多型報酬の定式化について検討する。
  論文  参考訳（メタデータ） (2024-02-21T22:02:37Z)
• Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations [63.73044203154743]
  自己教師付き表現学習は、しばしばデータの「スタイル」属性を誘導するためにデータ拡張を使用する。 データの属性が実際に"スタイル"であり、安全に破棄されるような先入観を推論することは困難である。 スタイル機能を捨てるよりも、スタイル機能を切り離そうとする、より原則化されたアプローチを導入します。
  論文  参考訳（メタデータ） (2023-11-15T09:34:08Z)
• Meta-Tuning LLMs to Leverage Lexical Knowledge for Generalizable Language Style Understanding [24.355564722047244]
  現在の大規模言語モデルは、微調整なしでいくつかの言語スタイルを捉えるのに苦労していることを示す。 我々は,LLMを代表語彙に基づいてメタトレーニングし,それらが微調整されていない新しいスタイルを認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-24T00:17:36Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Multi-type Disentanglement without Adversarial Training [48.51678740102892]
  潜在空間を分離することで自然言語のスタイルを制御することは、解釈可能な機械学習への重要なステップである。 本稿では,各スタイルの値に一意な表現を与える統一分布制御法を提案する。 また,スタイル・コンテントの絡み合いや複数のスタイルタイプ間の絡み合いを実現するために,複数の損失関数を提案する。
  論文  参考訳（メタデータ） (2020-12-16T11:47:18Z)
• Learning to Model and Ignore Dataset Bias with Mixed Capacity Ensembles [66.15398165275926]
  本稿では,データセット固有のパターンを自動的に検出・無視する手法を提案する。 我々の方法は、より高い容量モデルでアンサンブルで低容量モデルを訓練する。 視覚的質問応答データセットの10ポイントゲインを含む,すべての設定の改善を示す。
  論文  参考訳（メタデータ） (2020-11-07T22:20:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。