論文の概要: Style over Substance: Distilled Language Models Reason Via Stylistic Replication

• arxiv url: http://arxiv.org/abs/2504.01738v1
• Date: Wed, 02 Apr 2025 13:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:24:59.849759
• Title: Style over Substance: Distilled Language Models Reason Via Stylistic Replication
• Title（参考訳）: 物質よりもスタイル: 蒸留言語モデルはスティリスティックな複製を意味する
• Authors: Philip Lippmann, Jie Yang,
• Abstract要約: 特殊推論言語モデル(RLM)は、詳細な推論トレースによるテスト時間計算のスケーリングが性能を大幅に向上させることを示した。 本研究では, 蒸留モデルが推理中に複製された文体パターンを内部にどの程度内在させるかを検討する。 合成トレーサを用いたモデルでは, 蒸留された推理能力は, 表面レベルのパターンに大きく依存していることが示唆された。
• 参考スコア（独自算出の注目度）: 4.313454680394974
• License:
• Abstract: Specialized reasoning language models (RLMs) have demonstrated that scaling test-time computation through detailed reasoning traces significantly enhances performance. Although these traces effectively facilitate knowledge distillation into smaller, instruction-tuned models, the precise nature of transferred reasoning remains unclear. In this study, we investigate to what extent distilled models internalize replicated stylistic patterns during reasoning. To this end, we systematically analyze reasoning traces, identifying structural and lexical patterns that characterize successful reasoning. We then introduce two new datasets -- a dataset of emergent reasoning traces and a synthetic dataset explicitly constructed to replicate these stylistic patterns -- to precisely examine their influence on distilled models' reasoning capabilities. We find that models trained on the synthetic traces achieve comparable performance, indicating that distilled reasoning abilities rely significantly on surface-level patterns. Surprisingly, we observe an increase in performance even when the synthetic traces are altered to lead to the wrong answer. Our findings highlight how stylistic patterns can be leveraged to efficiently enhance LM reasoning across diverse model families.
• Abstract（参考訳）: 特殊推論言語モデル(RLM)は、詳細な推論トレースによるテスト時間計算のスケーリングが性能を大幅に向上させることを示した。 これらの痕跡は、知識蒸留をより小さく、訓練されたモデルに効果的に促進するが、伝達された推論の正確な性質は不明確である。 本研究では, 蒸留モデルが推理中に複製された文体パターンを内部にどの程度内在させるかを検討する。 この目的のために、我々は推論の痕跡を体系的に分析し、成功した推論を特徴付ける構造的および語彙的パターンを同定する。 次に、2つの新しいデータセット(創発的推論トレースのデータセットと、これらのスタイルパターンを再現するために明示的に構築された合成データセット)を導入し、蒸留モデルの推論能力への影響を正確に検証します。 合成トレーサを用いたモデルでは, 蒸留された推理能力は, 表面レベルのパターンに大きく依存していることが示唆された。 意外なことに、合成トレースが変更されて間違った答えが導かれる場合でも、性能が向上するのを観察する。 本研究は,多種多様なモデルファミリ間のLM推論を効果的に向上するために,スタイリスティックパターンをいかに活用できるかを強調した。

関連論文リスト

• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)
• Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
  本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。 まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。 次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
  論文  参考訳（メタデータ） (2024-05-06T21:34:46Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Revealing Multimodal Contrastive Representation Learning through Latent Partial Causal Models [85.67870425656368]
  マルチモーダルデータに特化して設計された統一因果モデルを提案する。 マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。 実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
  論文  参考訳（メタデータ） (2024-02-09T07:18:06Z)
• A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
  音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。 モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。 一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
  論文  参考訳（メタデータ） (2023-07-25T17:02:38Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates [26.527311287924995]
  インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。 制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-10-07T06:59:46Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)
• What if This Modified That? Syntactic Interventions via Counterfactual Embeddings [19.3614797257652]
  先行技術は、プローブを通してモデル表現内の有意義な特性を明らかにすることを目的としているが、そのようなプローブがモデルが実際に使っている情報をどのように忠実に表現しているかは明らかではない。 本稿では,因果解析にインスパイアされた手法を提案する。 本手法の実験では,下流予測タスクにおいて,BERTをベースとしたモデルでは木間距離のような構文表現が用いられていることを示す。
  論文  参考訳（メタデータ） (2021-05-28T17:27:04Z)
• Explainable Deep Modeling of Tabular Data using TableGraphNet [1.376408511310322]
  付加的特徴属性の形で説明可能な予測を生成する新しいアーキテクチャを提案する。 説明可能なモデルはブラックボックスモデルと同じレベルの性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-12T20:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。