論文の概要: Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2408.13457v2
• Date: Fri, 24 Jan 2025 06:46:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:55:16.214353
• Title: Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning
• Title（参考訳）: すべてのペニー数を作る: 費用効率の良い推論のための難易度適応型の自己整合性
• Authors: Xinglin Wang, Shaoxiong Feng, Yiwei Li, Peiwen Yuan, Yueqi Zhang, Boyuan Pan, Heda Wang, Yao Hu, Kan Li,
• Abstract要約: 自己整合性(英: Self-Consistency, SC)は、思考の連鎖推論のための復号法である。 その変種である適応自己整合(ASC)とアーリーストッピング自己整合(ESC)は、プレサンプルの集合の後方分布に基づいて標本の数を動的に調整する。 本稿では,事前視点と後方視点の両方からの難易度情報を利用して,推論資源を適応的に割り当てるDifficulty-Adaptive Self-Consistency (DSC)を提案する。
• 参考スコア（独自算出の注目度）: 19.408941114068444
• License:
• Abstract: Self-consistency (SC), a widely used decoding strategy for chain-of-thought reasoning, shows significant gains across various multi-step reasoning tasks but comes with a high cost due to multiple sampling with the preset size. Its variants, Adaptive self-consistency (ASC) and Early-stopping self-consistency (ESC), dynamically adjust the number of samples based on the posterior distribution of a set of pre-samples, reducing the cost of SC with minimal impact on performance. Both methods, however, do not exploit the prior information about question difficulty. It often results in unnecessary repeated sampling for easy questions that could be accurately answered with just one attempt, wasting resources. To tackle this problem, we propose Difficulty-Adaptive Self-Consistency (DSC), which leverages the difficulty information from both prior and posterior perspectives to adaptively allocate inference resources, further reducing the cost of SC. To demonstrate the effectiveness of DSC, we conduct extensive experiments on three popular categories of reasoning tasks: arithmetic, commonsense and symbolic reasoning on six benchmarks. The empirical results show that DSC consistently surpasses the strong baseline ASC and ESC in terms of costs by a significant margin, while attaining comparable performances.
• Abstract（参考訳）: 連鎖推論に広く用いられている自己整合性(SC: Self-Consistency)は、様々な多段階推論タスクにおいて顕著な利得を示すが、プリセットサイズで複数のサンプリングを行うため、高いコストがかかる。 適応自己整合性 (ASC) とアーリーストッピング自己整合性 (ESC) の変種は、一連のプリサンプルの後方分布に基づいて標本数を動的に調整し、性能への影響を最小限に抑えてSCのコストを下げる。 しかし、どちらの手法も質問の難しさに関する事前の情報を利用していない。 多くの場合、不必要な繰り返しサンプリングが行われ、簡単な質問が1回の試行で正確に答えられるようになり、リソースを無駄にします。 この問題に対処するために,前と後の両方の観点からの難易度情報を活用して推論資源を適応的に割り当てることにより,SCのコストをさらに削減するDifficulty-Adaptive Self-Consistency (DSC)を提案する。 DSCの有効性を示すために、6つのベンチマークで算術、常識、記号的推論という3つの一般的な推論タスクのカテゴリについて広範な実験を行った。 実験の結果,DSCは高いベースラインのASCとESCをほぼ上回り,性能は同等であった。

関連論文リスト

• Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models [56.37421741507468]
  CoT推論は大規模言語モデル(LLM)の性能を大幅に向上させた。 本稿では,その重要性の尺度としてパープレキシティを用いた批判的推論ステップの同定手法を提案する。
  論文  参考訳（メタデータ） (2025-02-18T20:04:51Z)
• Confidence Improves Self-Consistency in LLMs [9.764747744761085]
  信頼性インフォームド・セルフ一貫性(CISC)について紹介する。 CISCは、モデルから直接得られる信頼度スコアに基づいて、重み付けされた多数決を行う。 9つのモデルと4つのデータセットでテストすると、CISCはほぼすべての構成で自己整合性を上回っます。
  論文  参考訳（メタデータ） (2025-02-10T08:10:29Z)
• Reasoning Aware Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性は、複数の推論経路をサンプリングすることによって、大規模言語モデル(LLM)における幻覚を緩和する。 本稿では、サンプリング効率を高め、忠実性を推論する新しいフレームワークであるReasoning-Aware Self-Consistency (RASC)を紹介する。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)
• Integrate the Essence and Eliminate the Dross: Fine-Grained Self-Consistency for Free-Form Language Generation [20.138831477848615]
  本研究では,複数のサンプルから得られた詳細なコンセンサス知識を効果的に活用することにより,出力品質を最適化するFSCを提案する。 FSCの有効性は、要約、コード生成、数学的推論など、様々なタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2024-07-02T08:38:31Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning [15.088675135566646]
  自己整合性(Self-Consistency, SC)は、思考の連鎖推論のためのデコード戦略として広く用いられている。 我々は,SCのコストを大幅に削減する,シンプルでスケーラブルなサンプリングプロセスである textbfEarpping textbfSelf-textbfConsistency (ESC) を提案する。
  論文  参考訳（メタデータ） (2024-01-19T04:03:59Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Explaining with Greater Support: Weighted Column Sampling Optimization for q-Consistent Summary-Explanations [1.6262731094866383]
  $q$-consistent summary-explanationは、一貫性をわずかに低くするコストで、より大きなサポートを達成することを目的としている。 問題は、$q$-consistent summary-explanation (MSqC) の最大サポート問題は、元のMS問題よりもずっと複雑である。 解の時間効率を改善するために,重み付きカラムサンプリング法(WCS)を提案する。
  論文  参考訳（メタデータ） (2023-02-09T09:40:30Z)
• On Efficient and Robust Metrics for RANSAC Hypotheses and 3D Rigid Registration [51.64236850960365]
  本稿では, 高精度な3次元剛性登録を実現するために, RANSAC仮説の効率的かつ堅牢な評価指標の開発に焦点をあてる。 Inlierとoutlierのコントリビューションを分析し、RANSAC仮説の異なる設計モチベーションを持つ、いくつかの効率的で堅牢なメトリクスを提案する。
  論文  参考訳（メタデータ） (2020-11-10T02:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。