論文の概要: Reasoning with OmniThought: A Large CoT Dataset with Verbosity and Cognitive Difficulty Annotations

• arxiv url: http://arxiv.org/abs/2505.10937v1
• Date: Fri, 16 May 2025 07:15:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.266408
• Title: Reasoning with OmniThought: A Large CoT Dataset with Verbosity and Cognitive Difficulty Annotations
• Title（参考訳）: OmniThought による推論: バービシティと認知困難アノテーションを備えた大規模 CoT データセット
• Authors: Wenrui Cai, Chengyu Wang, Junbing Yan, Jun Huang, Xiangzhong Fang,
• Abstract要約: OmniThoughtは、教師モデルとして2つの強力なLEMによって生成される200万のチェーン・オブ・シント(CoT)プロセスを備えた大規模なデータセットである。 OmniThoughtの各CoTプロセスには、新しいReasoning Verbosity(RV)とCognitive Difficulty(CD)スコアがアノテートされている。 我々はさらに、より強力な推論能力と最適なCoT出力長と難易度を備えた高性能LEMのシリーズを訓練・リリースする。
• 参考スコア（独自算出の注目度）: 11.367717208838101
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The emergence of large reasoning models (LRMs) has transformed Natural Language Processing by excelling in complex tasks such as mathematical problem-solving and code generation. These models leverage chain-of-thought (CoT) processes, enabling them to emulate human-like reasoning strategies. However, the advancement of LRMs is hindered by the lack of comprehensive CoT datasets. Current resources often fail to provide extensive reasoning problems with coherent CoT processes distilled from multiple teacher models and do not account for multifaceted properties describing the internal characteristics of CoTs. To address these challenges, we introduce OmniThought, a large-scale dataset featuring 2 million CoT processes generated and validated by two powerful LRMs as teacher models. Each CoT process in OmniThought is annotated with novel Reasoning Verbosity (RV) and Cognitive Difficulty (CD) scores, which describe the appropriateness of CoT verbosity and cognitive difficulty level for models to comprehend these reasoning processes. We further establish a self-reliant pipeline to curate this dataset. Extensive experiments using Qwen2.5 models of various sizes demonstrate the positive impact of our proposed scores on LRM training effectiveness. Based on the proposed OmniThought dataset, we further train and release a series of high-performing LRMs, specifically equipped with stronger reasoning abilities and optimal CoT output length and difficulty level. Our contributions significantly enhance the development and training of LRMs for solving complex tasks.
• Abstract（参考訳）: 大きな推論モデル(LRM)の出現は、数学的問題解決やコード生成といった複雑なタスクに長け、自然言語処理に変化をもたらした。 これらのモデルはチェーン・オブ・シント(CoT)プロセスを活用し、人間のような推論戦略をエミュレートする。 しかし、LRMの進歩は、包括的なCoTデータセットの欠如によって妨げられている。 現在の資源は、複数の教師モデルから蒸留されたコヒーレントCoTプロセスに対して広範な推論問題を生じさせず、CoTの内部特性を記述する多面的特性を考慮しないことが多い。 これらの課題に対処するために,教師モデルとして2つの強力なLEMによって生成・検証された200万のCoTプロセスを備えた大規模データセットであるOmniThoughtを紹介した。 OmniThoughtの各CoTプロセスには、新しいReasoning Verbosity(RV)とCognitive Difficulty(CD)スコアがアノテートされている。 さらに、このデータセットをキュレートするための自己回復パイプラインを構築します。 様々な大きさのQwen2.5モデルを用いた大規模実験により,提案したスコアがLRMトレーニングの有効性に及ぼす影響を実証した。 提案したOmniThoughtデータセットに基づいて、より強力な推論能力と最適なCoT出力長と難易度を備えた、一連の高性能LEMのトレーニングおよびリリースを行う。 我々の貢献により、複雑なタスクを解くためのLEMの開発と訓練が大幅に向上する。

関連論文リスト

• AdvKT: An Adversarial Multi-Step Training Framework for Knowledge Tracing [64.79967583649407]
  知識追跡(KT)は、学生の知識状態を監視し、質問シーケンスに対する反応をシミュレートする。 既存のKTモデルは通常、単一ステップのトレーニングパラダイムに従っており、大きなエラーの蓄積につながる。 本稿では,多段階KTタスクに着目した新しい知識追跡のための多段階学習フレームワーク(AdvKT)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T03:31:57Z)
• Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning [33.02060729778806]
  小型言語モデル(SLM)におけるCoT蒸留の影響要因について検討した。 その結果, SLM は粒度と非単調な関係を示し, より微細な推論とより弱いモデルにより, より単純なCoT 監督下でより優れた性能を示すことがわかった。 これらの知見は、特定の学生モデルにCoT戦略を適合させることの必要性を強調し、SLMにおけるCoT蒸留を最適化するための実用的な洞察を提供する。
  論文  参考訳（メタデータ） (2025-02-25T09:08:45Z)
• TACO: Learning Multi-modal Action Models with Synthetic Chains-of-Thought-and-Action [103.5952731807559]
  複雑・多段階・多モードタスクの性能向上を目的とした多モード大規模アクションモデルであるTACOを提案する。 推論中、TACOはチェーン・オブ・シント・アンド・アクション(CoTA)を生成し、OCR、深さ推定、電卓などの外部ツールを呼び出すことで中間ステップを実行する。 このデータセットにより、TACOは複雑な推論とアクションパスを学習し、直接回答だけでチューニングデータに基づいてトレーニングされた既存のモデルを上回ることができる。
  論文  参考訳（メタデータ） (2024-12-07T00:42:04Z)
• Understanding Chain-of-Thought in LLMs through Information Theory [16.78730663293352]
  我々は,情報理論レンズを用いて,大規模言語モデル(LLM)におけるChain-of-Thought(CoT)推論を定式化する。 具体的には、各推論ステップにおける情報ゲインの定量化を行い、障害モードの識別を可能にする。 提案手法の有効性を,玩具およびGSM-8Kデータに対する広範囲な実験により実証し,既存の結果に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-18T19:14:36Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning [63.80739044622555]
  自然言語ナラティブで指定されたソフト推論タスクの言語モデルを評価するデータセットである MuSR を紹介する。 このデータセットには2つの重要な特徴がある。まず、ニューロシンボリック合成-自然生成アルゴリズムによって生成される。 第二に、私たちのデータセットインスタンスは、実世界の推論の領域に対応する無料のテキスト物語です。
  論文  参考訳（メタデータ） (2023-10-24T17:59:20Z)
• Enhancing Human-like Multi-Modal Reasoning: A New Challenging Dataset and Comprehensive Framework [51.44863255495668]
  マルチモーダル推論は、人間のような知性を示す人工知能システムの追求において重要な要素である。 提案するマルチモーダル推論(COCO-MMR)データセットは,オープンエンド質問の集合を包含する新しいデータセットである。 画像とテキストエンコーダを強化するために,マルチホップ・クロスモーダル・アテンションや文レベルのコントラスト学習などの革新的な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T08:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。