論文の概要: Causal Distillation: Transferring Structured Explanations from Large to Compact Language Models

• arxiv url: http://arxiv.org/abs/2505.19511v1
• Date: Mon, 26 May 2025 04:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.177961
• Title: Causal Distillation: Transferring Structured Explanations from Large to Compact Language Models
• Title（参考訳）: 因果蒸留:大規模からコンパクトな言語モデルへの構造的説明の伝達
• Authors: Aggrey Muhebwa, Khalid K. Osman,
• Abstract要約: 大規模なプロプライエタリな言語モデルは、小さなオープンソースモデルでは複製が困難である強力な因果推論能力を示している。 本稿では,強力な教師モデルからコンパクトなオープンソースモデルへ因果推論スキルを伝達する因果説明を蒸留する新しい枠組みを提案する。 鍵となる考え方は、教師モデルと整合した構造的原因・効果説明を生成することにより、因果推論能力を向上させるために、より小さなモデルを訓練することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large proprietary language models exhibit strong causal reasoning abilities that smaller open-source models struggle to replicate. We introduce a novel framework for distilling causal explanations that transfers causal reasoning skills from a powerful teacher model to a compact open-source model. The key idea is to train the smaller model to develop causal reasoning abilities by generating structured cause-and-effect explanations consistent with those of the teacher model. To evaluate the quality of the student-generated explanations, we introduce a new metric called Causal Explanation Coherence (CEC) to assess the structural and logical consistency of causal reasoning. This metric uses sentence-level semantic alignment to measure how well each part of the generated explanation corresponds to the teacher's reference, capturing both faithfulness and coverage of the underlying causal chain. Our framework and the CEC metric provide a principled foundation for training smaller models to perform robust causal reasoning and for systematically assessing the coherence of explanations in language model outputs.
• Abstract（参考訳）: 大規模なプロプライエタリな言語モデルは、小さなオープンソースモデルでは複製が困難である強力な因果推論能力を示している。 本稿では,強力な教師モデルからコンパクトなオープンソースモデルへ因果推論スキルを伝達する因果説明を蒸留する新しい枠組みを提案する。 鍵となる考え方は、教師モデルと整合した構造的原因・効果説明を生成することにより、因果推論能力を向上させるために、より小さなモデルを訓練することである。 学生が生成した説明の質を評価するために,因果推論の構造的・論理的整合性を評価するために,因果説明コヒーレンス(Causal Explanation Coherence, CEC)と呼ばれる新しい指標を導入する。 このメトリクスは、文レベルのセマンティックアライメントを使用して、生成された説明のそれぞれの部分が教師の参照にどの程度うまく対応しているかを測定し、基礎となる因果連鎖の忠実さと包括性の両方をキャプチャする。 我々のフレームワークとCECメトリックは、より小さなモデルを訓練し、堅牢な因果推論を行い、言語モデル出力における説明の一貫性を体系的に評価するための原則的な基盤を提供する。

関連論文リスト

• The Buffer Mechanism for Multi-Step Information Reasoning in Language Models [52.77133661679439]
  大きな言語モデルの内部的推論メカニズムを調べることは、よりよいモデルアーキテクチャとトレーニング戦略を設計するのに役立ちます。 本研究では,トランスフォーマーモデルが垂直思考戦略を採用するメカニズムを解明するために,シンボリックデータセットを構築した。 我々は,GPT-2モデルに必要なトレーニング時間を75%削減し,モデルの推論能力を高めるために,ランダムな行列ベースアルゴリズムを提案した。
  論文  参考訳（メタデータ） (2024-05-24T07:41:26Z)
• Cause and Effect: Can Large Language Models Truly Understand Causality? [1.2334534968968969]
  本研究では,CARE CA(Content Aware Reasoning Enhancement with Counterfactual Analysis)フレームワークという新しいアーキテクチャを提案する。 提案するフレームワークには,ConceptNetと反ファクト文を備えた明示的な因果検出モジュールと,大規模言語モデルによる暗黙的な因果検出が組み込まれている。 ConceptNetの知識は、因果的発見、因果的識別、反事実的推論といった複数の因果的推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:02:14Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• Inducing Causal Structure for Abstractive Text Summarization [76.1000380429553]
  要約データの因果構造を誘導する構造因果モデル(SCM)を導入する。 本稿では因果的要因を模倣できる因果的表現を学習するための因果性インスピレーション付き系列列列モデル(CI-Seq2Seq)を提案する。 2つの広く使われているテキスト要約データセットの実験結果は、我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-08-24T16:06:36Z)
• Explaining Causal Models with Argumentation: the Case of Bi-variate Reinforcement [15.947501347927687]
  因果モデルから議論フレームワーク(AF)を生成するための概念化を導入する。 この概念化は、AFの意味論の望ましい性質を説明型として再解釈することに基づいている。 我々はこれらの論証的説明の理論的評価を行い、それらが望ましい説明的および論証的特性の範囲を満たすかどうかを検討する。
  論文  参考訳（メタデータ） (2022-05-23T19:39:51Z)
• Thinking About Causation: A Causal Language with Epistemic Operators [58.720142291102135]
  我々はエージェントの状態を表すことで因果モデルの概念を拡張した。 対象言語の側面には、知識を表現する演算子や、新しい情報を観察する行為が追加されます。 我々は、論理の健全かつ完全な公理化を提供し、このフレームワークと因果的チーム意味論との関係について論じる。
  論文  参考訳（メタデータ） (2020-10-30T12:16:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。