論文の概要: The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think

• arxiv url: http://arxiv.org/abs/2505.10185v1
• Date: Thu, 15 May 2025 11:31:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.296299
• Title: The CoT Encyclopedia: Analyzing, Predicting, and Controlling how a Reasoning Model will Think
• Title（参考訳）: CoT百科事典:推論モデルがどのように考えるかの分析、予測、制御
• Authors: Seongyun Lee, Seungone Kim, Minju Seo, Yongrae Jo, Dongyoung Go, Hyeonbin Hwang, Jinho Park, Xiang Yue, Sean Welleck, Graham Neubig, Moontae Lee, Minjoon Seo,
• Abstract要約: 本稿では,モデル推論の分析とステアリングのためのフレームワークであるCoT Encyclopediaを紹介する。 本手法はモデル生成CoTから多種多様な推論基準を自動的に抽出する。 このフレームワークは既存の手法よりも解釈可能で包括的分析が可能であることを示す。
• 参考スコア（独自算出の注目度）: 81.38614558541772
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long chain-of-thought (CoT) is an essential ingredient in effective usage of modern large language models, but our understanding of the reasoning strategies underlying these capabilities remains limited. While some prior works have attempted to categorize CoTs using predefined strategy types, such approaches are constrained by human intuition and fail to capture the full diversity of model behaviors. In this work, we introduce the CoT Encyclopedia, a bottom-up framework for analyzing and steering model reasoning. Our method automatically extracts diverse reasoning criteria from model-generated CoTs, embeds them into a semantic space, clusters them into representative categories, and derives contrastive rubrics to interpret reasoning behavior. Human evaluations show that this framework produces more interpretable and comprehensive analyses than existing methods. Moreover, we demonstrate that this understanding enables performance gains: we can predict which strategy a model is likely to use and guide it toward more effective alternatives. Finally, we provide practical insights, such as that training data format (e.g., free-form vs. multiple-choice) has a far greater impact on reasoning behavior than data domain, underscoring the importance of format-aware model design.
• Abstract（参考訳）: ロングチェーン・オブ・シント(CoT)は、現代の大規模言語モデルの有効利用に欠かせない要素であるが、これらの能力の根底にある推論戦略の理解は依然として限られている。 事前定義された戦略型を使ってCoTを分類しようとする先行研究もあるが、そのようなアプローチは人間の直観によって制約され、モデル行動の完全な多様性を捉えることができない。 本稿では,モデル推論の分析とステアリングのためのボトムアップフレームワークであるCoT Encyclopediaを紹介する。 提案手法は,モデル生成したCoTから多種多様な推論基準を自動的に抽出し,意味空間に埋め込み,それらを代表的なカテゴリに分類し,対照的なルーリックを導出し,推論の振る舞いを解釈する。 人間による評価から,本フレームワークは既存の手法よりも解釈可能で包括的分析が可能であることが示唆された。 さらに、この理解がパフォーマンスの向上を可能にすることを実証する。モデルがどの戦略を使うかを予測することができ、より効果的な代替手段へと導くことができる。 最後に、トレーニングデータフォーマット(例えば、自由形式対多重選択)が、データドメインよりも推論行動に大きな影響を与え、フォーマット対応モデル設計の重要性が強調されるような、実践的な洞察を提供する。

関連論文リスト

• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• On the Reasoning Capacity of AI Models and How to Quantify It [0.0]
  大規模言語モデル(LLM)は、その推論能力の基本的な性質に関する議論を激化させている。 GPQAやMMLUのようなベンチマークで高い性能を達成する一方で、これらのモデルはより複雑な推論タスクにおいて制限を示す。 本稿では,モデル行動のメカニズムを解明するために,従来の精度指標を超える新しい現象論的手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T16:58:18Z)
• When factorization meets argumentation: towards argumentative explanations [0.0]
  因数分解に基づく手法と議論フレームワーク(AF)を組み合わせた新しいモデルを提案する。 我々のフレームワークは、ユーザコンテキストなどのサイド情報をシームレスに組み込んで、より正確な予測を可能にします。
  論文  参考訳（メタデータ） (2024-05-13T19:16:28Z)
• Exploring the Trade-off Between Model Performance and Explanation Plausibility of Text Classifiers Using Human Rationales [3.242050660144211]
  ホック後説明可能性法は、ますます複雑なNLPモデルを理解するための重要なツールである。 本稿では,人間の判断を説明するテキストアノテーションをテキスト分類モデルに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T22:39:33Z)
• Understanding the (Extra-)Ordinary: Validating Deep Model Decisions with Prototypical Concept-based Explanations [13.60538902487872]
  本稿では, 実例的(地域的)かつクラス的(グローバル的)な意思決定戦略をプロトタイプを通じて伝達する, ポストホックなコンセプトベースXAIフレームワークを提案する。 我々は,3つのデータセットにまたがるアウト・オブ・ディストリビューション・サンプル,突発的なモデル行動,データ品質問題同定におけるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-11-28T10:53:26Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。