論文の概要: Two-Stage Reasoning-Infused Learning: Improving Classification with LLM-Generated Reasoning
- arxiv url: http://arxiv.org/abs/2507.00214v1
- Date: Mon, 30 Jun 2025 19:34:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-03 14:22:58.656023
- Title: Two-Stage Reasoning-Infused Learning: Improving Classification with LLM-Generated Reasoning
- Title（参考訳）: 2段階推論融合学習:LLM推論による分類の改善
- Authors: Mads Henrichsen, Rasmus Krebs,
- Abstract要約: 本稿では,Large Language Model (LLM) を用いた2段階のテキスト分類手法を提案する。
第1段階では、汎用推論データセット上で、Llama-3.2-1B-インストラクトモデル(以下、Llama-R-Gen)を微調整する。
第2段階では、一般的にトレーニングされたこのLlama-R-Genをオフラインで使用して、下流生成モデルのための強化トレーニングデータセットを作成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard classification models often map inputs directly to labels without explicit reasoning, potentially limiting their performance, robustness, and interpretability. This paper introduces a novel two-stage approach to enhance text classification by leveraging Large Language Model (LLM)-generated reasonings. In the first stage, we fine-tune a Llama-3.2-1B-Instruct model (henceforth Llama-R-Gen) on a general-purpose reasoning dataset (syvai/reasoning-gen) to generate textual reasoning (R) given a question and its answer. In the second stage, this generally trained Llama-R-Gen is used offline to create an augmented training dataset for a downstream generative model. This downstream model, based on Llama-3.2-1B-Instruct, takes only the input text (Q) and is trained to output the generated reasoning (R) immediately followed by the predicted emotion (A). We demonstrate this methodology on the dair-ai/emotion dataset for emotion classification. Our experiments show that the generative model trained to output reasoning and the emotion (Classifier Q->RA) achieves a significant improvement of 8.7 percentage points in accuracy (for emotion prediction) compared to a baseline generative model trained solely to output the emotion (Classifier Q->A), highlighting the strong generalization capabilities of the reasoning generation and the benefit of explicit reasoning training. This work underscores the potential of LLM-generated reasonings for creating richer training datasets, thereby improving the performance of diverse downstream NLP tasks and providing explicit explanations.
- Abstract（参考訳）: 標準的な分類モデルは、入力を明示的な推論なしで直接ラベルにマッピングし、その性能、堅牢性、解釈可能性を制限する可能性がある。
本稿では,Large Language Model (LLM) を用いた2段階のテキスト分類手法を提案する。
第1段階では、汎用推論データセット(syvai/reasoning-gen)上でLlama-3.2-1B-Instructモデル(以下Llama-R-Gen)を微調整し、質問とその回答を生成する。
第2段階では、一般的にトレーニングされたこのLlama-R-Genをオフラインで使用して、下流生成モデルのための強化トレーニングデータセットを作成する。
Llama-3.2-1B-インストラクタに基づくこの下流モデルは、入力テキスト(Q)のみを取り込み、生成した推論(R)を即座に予測された感情(A)で出力するように訓練される。
本手法は感情分類のためのダイアアイ/感情データセット上で実証する。
実験の結果,感情を出力するために訓練された生成モデル(分類Q->RA)は,感情を出力するために訓練されたベースライン生成モデル(分類Q->A)と比較して,精度が8.7ポイント向上し,推論生成の強力な一般化能力と明示的推論訓練のメリットが強調された。
この研究は、よりリッチなトレーニングデータセットを作成するためのLLM生成推論の可能性を強調し、様々な下流のNLPタスクのパフォーマンスを改善し、明確な説明を提供する。
関連論文リスト
- S$^2$R: Teaching LLMs to Self-verify and Self-correct via Reinforcement Learning [51.84977135926156]
S$2$Rはモデルに推論時の自己検証と自己正当性を教えることによってLLM推論を強化する効率的なフレームワークである。
以上の結果から,Qwen2.5-math-7Bの精度は51.0%から81.6%に向上した。
論文 参考訳（メタデータ） (2025-02-18T13:40:22Z) - RDBE: Reasoning Distillation-Based Evaluation Enhances Automatic Essay Scoring [0.0]
Reasoning Distillation-Based Evaluation (RDBE) は、解釈可能性を統合し、モデルスコアの背景にある理論的根拠を解明する。
実験により, データセットに考慮したすべてのスコアリングルーリックに対してRDBEの有効性が示された。
論文 参考訳（メタデータ） (2024-07-03T05:49:01Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳（メタデータ） (2024-04-04T15:36:53Z) - Assessing and Enhancing the Robustness of Large Language Models with Task Structure Variations for Logical Reasoning [25.496627355906966]
我々は「ReClor-plus」、「LogiQA-plus」、「LogiQAv2-plus」という3つの新しい論理推論データセットを開発した。
実験により、これらの単純な拡張がモデルの性能を著しく損なうことが示されている。
微調整とプロンプトのためのロジック駆動型データ拡張の適用は、識別モデルと生成モデルの両方における一般化を促進することができる。
論文 参考訳（メタデータ） (2023-10-13T22:29:15Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳（メタデータ） (2023-10-02T01:00:50Z) - Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM [31.25193238045053]
我々は、より小さな言語モデルの訓練を支援するために、大規模言語モデルの強力な生成力を利用する新しい手法、GenCoを導入する。
本手法では,LLMは2つの重要な方法で,より小さなモデルの自己学習ループにおいて重要な役割を果たす。
予測ラベルに条件付き入力テキストを書き換えることで、高品質なトレーニングペアの開発を支援する。
論文 参考訳（メタデータ） (2023-04-24T07:35:38Z) - ALEX: Active Learning based Enhancement of a Model's Explainability [34.26945469627691]
アクティブラーニング(AL)アルゴリズムは、最小限のラベル付き例をブートストラップ方式で効率的な分類器を構築しようとする。
データ駆動学習の時代において、これは追求すべき重要な研究方向である。
本稿では,モデルの有効性に加えて,ブートストラップ段階におけるモデルの解釈可能性の向上も目指すAL選択関数の開発に向けた取り組みについて述べる。
論文 参考訳（メタデータ） (2020-09-02T07:15:39Z) - Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。
解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。
一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
論文 参考訳（メタデータ） (2020-05-06T01:51:30Z) - ReClor: A Reading Comprehension Dataset Requiring Logical Reasoning [85.33459673197149]
標準化された大学院受験試験から抽出した論理的推論(ReClor)を必要とする新たな読解データセットを提案する。
本稿では、偏りのあるデータポイントを識別し、それらをEASY集合と残りをHARD集合に分離することを提案する。
実験結果によると、最先端のモデルでは、データセットに含まれるバイアスをEASYセット上で高精度にキャプチャする能力に優れていた。
しかし、彼らはランダムな推測に近い性能のHARDセットに苦慮しており、現在のモデルの論理的推論能力を本質的に向上させるためには、より多くの研究が必要であることを示している。
論文 参考訳（メタデータ） (2020-02-11T11:54:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。