論文の概要: CDW-CoT: Clustered Distance-Weighted Chain-of-Thoughts Reasoning
- arxiv url: http://arxiv.org/abs/2501.12226v1
- Date: Tue, 21 Jan 2025 15:51:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:21:16.938854
- Title: CDW-CoT: Clustered Distance-Weighted Chain-of-Thoughts Reasoning
- Title（参考訳）: CDW-CoT:クラスタリングされた距離重み付きチェーン・オブ・ソート
- Authors: Yuanheng Fang, Guoqing Chao, Wenqiang Lei, Shaobo Li, Dianhui Chu,
- Abstract要約: 思考のクラスタ化距離重み付き連鎖法(CDW-CoT)を提案する。
各データインスタンスの特徴に合わせたプロンプトを動的に構築する。
従来のCoTメソッドを6つのデータセットで一貫して上回る。
- 参考スコア（独自算出の注目度）: 16.502640216082547
- License:
- Abstract: Large Language Models (LLMs) have recently achieved impressive results in complex reasoning tasks through Chain of Thought (CoT) prompting. However, most existing CoT methods rely on using the same prompts, whether manually designed or automatically generated, to handle the entire dataset. This one-size-fits-all approach may fail to meet the specific needs arising from the diversities within a single dataset. To solve this problem, we propose the Clustered Distance-Weighted Chain of Thought (CDW-CoT) method, which dynamically constructs prompts tailored to the characteristics of each data instance by integrating clustering and prompt optimization techniques. Our method employs clustering algorithms to categorize the dataset into distinct groups, from which a candidate pool of prompts is selected to reflect the inherent diversity within the dataset. For each cluster, CDW-CoT trains the optimal prompt probability distribution tailored to their specific characteristics. Finally, it dynamically constructs a unique prompt probability distribution for each test instance, based on its proximity to cluster centers, from which prompts are selected for reasoning. CDW-CoT consistently outperforms traditional CoT methods across six datasets, including commonsense, symbolic, and mathematical reasoning tasks. Specifically, when compared to manual CoT, CDW-CoT achieves an average accuracy improvement of 25.34% on LLaMA2 (13B) and 15.72% on LLaMA3 (8B).
- Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、Chain of Thought(CoT)のプロンプトを通じて、複雑な推論タスクにおいて印象的な結果を得た。
しかしながら、既存のCoTメソッドのほとんどは、データセット全体を処理するために、手動で設計または自動生成された同じプロンプトを使用することに依存しています。
このワンサイズフィットのアプローチは、単一のデータセット内の多様性から生じる特定のニーズを満たすことができない可能性がある。
そこで本研究では,クラスタリングと最適化手法の併用により,各データインスタンスの特徴に合わせたプロンプトを動的に構築するCDW-CoT(Clustered Distance-Weighted Chain of Thought)手法を提案する。
提案手法では,クラスタリングアルゴリズムを用いてデータセットを異なるグループに分類し,そのグループ内で固有の多様性を反映するプロンプトの候補プールを選択する。
各クラスタに対して、CDW-CoTはそれぞれの特性に合わせて最適なプロンプト確率分布を訓練する。
最後に、クラスタセンターに近接する各テストインスタンスに対して独自のプロンプト確率分布を動的に構築し、そこから推論のためにプロンプトを選択する。
CDW-CoTは、コモンセンス、シンボリック、数学的推論タスクを含む6つのデータセットで、伝統的なCoTメソッドを一貫して上回っている。
特に手動のCoTと比較すると、CDW-CoTはLLaMA2 (13B) の平均精度は25.34%、LLaMA3 (8B) では15.72%向上している。
関連論文リスト
- MOKD: Cross-domain Finetuning for Few-shot Classification via Maximizing Optimized Kernel Dependence [97.93517982908007]
NCCは、ドメイン間数ショットの分類において、少数ショットの分類が可能なメートル法空間を構築するために表現を学ぶことを目的としている。
本稿では,異なるクラスから得られた2つの標本の NCC 学習表現に高い類似性があることを見出した。
ラベル付きデータによって示されるクラスタ構造にマッチするクラス固有の表現の集合を学習するために、最適化されたカーネル依存(MOKD)を最大化する二段階最適化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T05:59:52Z) - From Large to Small Datasets: Size Generalization for Clustering
Algorithm Selection [12.993073967843292]
我々は,未知の地下構造クラスタリングを用いて,半教師付き環境で問題を研究する。
本稿では,クラスタリングアルゴリズムの精度向上のためのサイズ一般化の概念を提案する。
データセット全体においてどのアルゴリズムが最適かを特定するために、データの5%をサブサンプルとして使用しています。
論文 参考訳（メタデータ） (2024-02-22T06:53:35Z) - Generalized Category Discovery with Clustering Assignment Consistency [56.92546133591019]
一般化圏発見(GCD)は、最近提案されたオープンワールドタスクである。
クラスタリングの一貫性を促進するための協調学習ベースのフレームワークを提案する。
提案手法は,3つの総合的なベンチマークと3つのきめ細かい視覚認識データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2023-10-30T00:32:47Z) - Instance-Optimal Cluster Recovery in the Labeled Stochastic Block Model [79.46465138631592]
観測されたラベルを用いてクラスタを復元する効率的なアルゴリズムを考案する。
本稿では,期待値と高い確率でこれらの下位境界との性能を一致させる最初のアルゴリズムであるIACを提案する。
論文 参考訳（メタデータ） (2023-06-18T08:46:06Z) - Hard Regularization to Prevent Deep Online Clustering Collapse without
Data Augmentation [65.268245109828]
オンラインディープクラスタリング(オンラインディープクラスタリング)とは、機能抽出ネットワークとクラスタリングモデルを組み合わせて、クラスタラベルを処理された各新しいデータポイントまたはバッチに割り当てることである。
オフラインメソッドよりも高速で汎用性が高いが、オンラインクラスタリングは、エンコーダがすべての入力を同じポイントにマッピングし、すべてを単一のクラスタに配置する、崩壊したソリューションに容易に到達することができる。
本稿では,データ拡張を必要としない手法を提案する。
論文 参考訳（メタデータ） (2023-03-29T08:23:26Z) - Automatic Prompt Augmentation and Selection with Chain-of-Thought from
Labeled Data [20.68548644283721]
思考の連鎖(CoT)は、大規模言語モデル(LLM)の推論能力を向上させる
ほとんどのCoT研究は、LSMを促進するために慎重に設計された有理鎖に依存している。
本稿では,CoTの人間工学を回避できる新しい戦略を提案する。
論文 参考訳（メタデータ） (2023-02-24T18:58:06Z) - Robust Trimmed k-means [70.88503833248159]
本稿では,外乱点とクラスタポイントを同時に識別するRobust Trimmed k-means (RTKM)を提案する。
RTKMは他の方法と競合することを示す。
論文 参考訳（メタデータ） (2021-08-16T15:49:40Z) - Very Compact Clusters with Structural Regularization via Similarity and
Connectivity [3.779514860341336]
本稿では,汎用データセットのためのエンドツーエンドのディープクラスタリングアルゴリズムであるVery Compact Clusters (VCC)を提案する。
提案手法は,最先端のクラスタリング手法よりも優れたクラスタリング性能を実現する。
論文 参考訳（メタデータ） (2021-06-09T23:22:03Z) - You Never Cluster Alone [150.94921340034688]
我々は、主流のコントラスト学習パラダイムをクラスタレベルのスキームに拡張し、同じクラスタに属するすべてのデータが統一された表現に寄与する。
分類変数の集合をクラスタ化代入信頼度として定義し、インスタンスレベルの学習トラックとクラスタレベルの学習トラックを関連付ける。
代入変数を再パラメータ化することで、TCCはエンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-06-03T14:59:59Z) - Too Much Information Kills Information: A Clustering Perspective [6.375668163098171]
分散に基づくk-クラスタリングタスクに対して,k-平均クラスタリング(k-means clustering)が広く知られていることを含む,単純かつ斬新なアプローチを提案する。
提案手法は、与えられたデータセットからサンプリングサブセットを選択し、サブセット内のデータ情報のみに基づいて決定する。
ある仮定では、結果のクラスタリングは、高い確率で分散に基づく目的の最適度を推定するのに十分である。
論文 参考訳（メタデータ） (2020-09-16T01:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。