論文の概要: Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs

• arxiv url: http://arxiv.org/abs/2407.03181v2
• Date: Tue, 27 May 2025 14:46:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:57.991411
• Title: Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs
• Title（参考訳）: LLMにおける横共振鎖の細調整によるCOT微細化
• Authors: Haritz Puerto, Tilek Chubakov, Xiaodan Zhu, Harish Tayyar Madabushi, Iryna Gurevych,
• Abstract要約: 本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
• 参考スコア（独自算出の注目度）: 63.36637269634553
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Requiring a large language model (LLM) to generate intermediary reasoning steps, known as Chain of Thought (CoT), has been shown to be an effective way of boosting performance. Previous approaches have focused on generating multiple independent CoTs, combining them through ensembling or other post-hoc strategies to enhance reasoning. In this work, we introduce a novel approach where LLMs are fine-tuned to generate a sequence of Diverse Chains of Thought (DCoT) within a single inference step, which is fundamentally different from prior work that primarily operate on parallel CoT generations. DCoT allows LLMs to gain the ability to perform within-inference refinement of reasoning chains without requiring external feedback. Through a rigorous set of experiments spanning a wide range of tasks that require various reasoning types, we show that fine-tuning on DCoT improves performance over the CoT baseline across model families and scales (1.3B to 70B). These improvements are particularly impactful for tasks with a large result state space, such as those involving numeric answers. Our work is also significant because both quantitative analyses and manual evaluations reveal the observed gains stem from the models' ability to refine an initial reasoning chain by generating a second, improved chain within the same inference step, demonstrating previously elusive self-improvement. Our code and data are publicly available at https://github.com/UKPLab/acl2025-diverse-cot.
• Abstract（参考訳）: CoT(Chain of Thought)として知られる中間的推論ステップを生成するために,大規模な言語モデル(LLM)が必要であることが,パフォーマンス向上の有効な方法であることが示されている。 従来のアプローチでは、複数の独立したCoTの生成に重点を置いており、推論を強化するために、アンサンブルや他のポストホック戦略を通じてそれらを組み合わせている。 本研究では,1つの推論ステップにおいて,LLMを微調整して,DCoT(Diverse Chains of Thought)のシーケンスを生成する手法を提案する。 DCoTにより、LCMは外部からのフィードバックを必要とせず、推論チェーンの推論内改良を行うことができる。 様々な推論タイプを必要とするタスクにまたがる厳密な実験を通して、DCoTの微調整により、モデルファミリとスケール(1.3Bから70B)にわたるCoTベースラインの性能が向上することを示した。 これらの改善は、数値的な答えなど、大きな結果状態のタスクに特に影響します。 我々の研究は、定量的分析と手動による評価の両方が、モデルが同じ推論ステップ内で第2の改良された連鎖を発生させることで、最初の推論チェーンを洗練させる能力から得られた利益を明らかにしているため、同時に有意義である。 私たちのコードとデータはhttps://github.com/UKPLab/acl2025-diverse-cot.comで公開されています。

関連論文リスト

• Platonic Grounding for Efficient Multimodal Language Models [22.715168904364756]
  我々は、事前訓練されたモデルの整合性に依存する既存のマルチモーダルフレームワークをモチベーションし、簡単な修正を提案する。 私たちの研究は、事前学習されたモデルをより大規模なシステムに効率的に組み合わせることにも影響します。
  論文  参考訳（メタデータ） (2025-04-27T18:56:26Z)
• Enhanced OoD Detection through Cross-Modal Alignment of Multi-Modal Representations [2.992602379681373]
  マルチモーダル微調整により,OoDDの性能が向上することを示す。 本稿では,IDデータの画像とテキストの埋め込み距離を正規化することにより,モーダルアライメントを向上させる訓練目標を提案する。
  論文  参考訳（メタデータ） (2025-03-24T16:00:21Z)
• DRPruning: Efficient Large Language Model Pruning through Distributionally Robust Optimization [61.492590008258986]
  大きな言語モデル(LLM)は素晴らしい結果をもたらすが、モデルのサイズと計算コストの増加による課題に直面している。 本稿では,分散的にロバストな最適化を取り入れたDRPruningを提案する。
  論文  参考訳（メタデータ） (2024-11-21T12:02:39Z)
• SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation [14.786100203787194]
  大規模な言語モデルは、単純なコード生成タスクでは例外的なパフォーマンスを示しますが、複雑な問題に対処する上での課題に直面します。 本稿では,高品質な中間推論経路を自律的に生成するモデルであるSRA-MCTSを提案する。 我々の手法は、追加の監督を必要とせず、モデル自体を通して完全に機能する。
  論文  参考訳（メタデータ） (2024-11-17T12:31:04Z)
• Optimizing Chain-of-Thought Reasoning: Tackling Arranging Bottleneck via Plan Augmentation [34.042565099565934]
  そこで本研究では,抽象的な計画を通じてモデルを整理し,構成ステップを生成するための計画ベーストレーニングと推論手法を提案する。 その結果,CoTデータを直接微調整した場合と比較して,ボトルネックの緩和に優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-10-22T08:38:50Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• Pattern-Aware Chain-of-Thought Prompting in Large Language Models [26.641713417293538]
  CoT(Chain-of- Thought)は言語モデルに複雑な多段階推論を誘導する。 このようなタスクにおいて、基礎となる推論パターンがより重要な役割を果たすことを示す。 本稿では,デモパターンの多様性を考慮したプロンプト手法であるPattern-Aware CoTを提案する。
  論文  参考訳（メタデータ） (2024-04-23T07:50:00Z)
• DPPA: Pruning Method for Large Language Model to Model Merging [39.13317231533299]
  本稿では、複雑な微調整モデルを統合するという課題に対処するため、DPPA(Dynamic Pruning Partition Amplification)と呼ばれる2段階の手法を提案する。 提案手法は,ドメイン固有のパラメータの20%しか保持せず,他の手法に匹敵する性能を提供する。 提案手法では, プレニング後の性能が優れており, モデルマージにおける性能が20%近く向上した。
  論文  参考訳（メタデータ） (2024-03-05T09:12:49Z)
• Step-On-Feet Tuning: Scaling Self-Alignment of LLMs via Bootstrapping [53.454408491386886]
  自己アライメントのブートストラップは、シングルラウンドアプローチをはるかに上回る。 モデルが継続的に強化した複数ショット機能を活用してゼロまたはワンショットのパフォーマンスを向上するステップ・オン・フィート・チューニング(SOFT)を提案する。 簡単な学習法に基づいて、自己アライメントの性能をさらに向上させるSOFT+を提案する。
  論文  参考訳（メタデータ） (2024-02-12T12:30:42Z)
• Differentiable Retrieval Augmentation via Generative Language Modeling for E-commerce Query Intent Classification [8.59563091603226]
  本稿では,この問題を解決するために,ジェネレーティブなLanguageモデリング(Dragan)による識別可能な検索拡張を提案する。 本稿では,eコマース検索における難解なNLPタスク,すなわちクエリ意図分類における提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-08-18T05:05:35Z)
• Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for Large Language Models [125.91897197446379]
  MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。 我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
  論文  参考訳（メタデータ） (2023-05-24T04:22:26Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。