論文の概要: Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning

• arxiv url: http://arxiv.org/abs/2408.13457v1
• Date: Sat, 24 Aug 2024 04:03:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 19:29:34.833110
• Title: Make Every Penny Count: Difficulty-Adaptive Self-Consistency for Cost-Efficient Reasoning
• Title（参考訳）: すべてのペニー数を作る: 費用効率の良い推論のための難易度適応型の自己整合性
• Authors: Xinglin Wang, Shaoxiong Feng, Yiwei Li, Peiwen Yuan, Yueqi Zhang, Boyuan Pan, Heda Wang, Yao Hu, Kan Li,
• Abstract要約: 自己整合性(英: Self-Consistency, SC)は、思考の連鎖推論のための復号法である。 その変種である適応自己整合(ASC)とアーリーストッピング自己整合(ESC)は、プレサンプルの集合の後方分布に基づいて標本の数を動的に調整する。 本稿では,事前視点と後方視点の両方からの難易度情報を利用して,推論資源を適応的に割り当てるDifficulty-Adaptive Self-Consistency (DSC)を提案する。
• 参考スコア（独自算出の注目度）: 19.408941114068444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-consistency (SC), a widely used decoding strategy for chain-of-thought reasoning, shows significant gains across various multi-step reasoning tasks but comes with a high cost due to multiple sampling with the preset size. Its variants, Adaptive self-consistency (ASC) and Early-stopping self-consistency (ESC), dynamically adjust the number of samples based on the posterior distribution of a set of pre-samples, reducing the cost of SC with minimal impact on performance. Both methods, however, do not exploit the prior information about question difficulty. It often results in unnecessary repeated sampling for easy questions that could be accurately answered with just one attempt, wasting resources. To tackle this problem, we propose Difficulty-Adaptive Self-Consistency (DSC), which leverages the difficulty information from both prior and posterior perspectives to adaptively allocate inference resources, further reducing the cost of SC. To demonstrate the effectiveness of DSC, we conduct extensive experiments on three popular categories of reasoning tasks: arithmetic, commonsense and symbolic reasoning on six benchmarks. The empirical results show that DSC consistently surpasses the strong baseline ASC and ESC in terms of costs by a significant margin, while attaining comparable performances.
• Abstract（参考訳）: 連鎖推論に広く用いられている自己整合性(SC: Self-Consistency)は、様々な多段階推論タスクにおいて顕著な利得を示すが、プリセットサイズで複数のサンプリングを行うため、高いコストがかかる。 適応自己整合性 (ASC) とアーリーストッピング自己整合性 (ESC) の変種は、一連のプリサンプルの後方分布に基づいて標本数を動的に調整し、性能への影響を最小限に抑えてSCのコストを下げる。 しかし、どちらの手法も質問の難しさに関する事前の情報を利用していない。 多くの場合、不必要な繰り返しサンプリングが行われ、簡単な質問が1回の試行で正確に答えられるようになり、リソースを無駄にします。 この問題に対処するために,前と後の両方の観点からの難易度情報を活用して推論資源を適応的に割り当てることにより,SCのコストをさらに削減するDifficulty-Adaptive Self-Consistency (DSC)を提案する。 DSCの有効性を示すために、6つのベンチマークで算術、常識、記号的推論という3つの一般的な推論タスクのカテゴリについて広範な実験を行った。 実験の結果,DSCは高いベースラインのASCとESCをほぼ上回り,性能は同等であった。

関連論文リスト

• Dynamic Self-Consistency: Leveraging Reasoning Paths for Efficient LLM Sampling [9.44858963874474]
  自己整合性(SC)は、生成されたサンプルの数に比例した計算コストをもたらす。 我々は,サンプル生成数を調整する革新的な早期停止フレームワークであるReasoning-Aware Self-Consistency (RASC)を提案する。 RASCはサンプル使用量を平均80%削減し、元のSCに比べて5%まで精度を維持または改善した。
  論文  参考訳（メタデータ） (2024-08-30T05:14:59Z)
• Integrate the Essence and Eliminate the Dross: Fine-Grained Self-Consistency for Free-Form Language Generation [20.138831477848615]
  本研究では,複数のサンプルから得られた詳細なコンセンサス知識を効果的に活用することにより,出力品質を最適化するFSCを提案する。 FSCの有効性は、要約、コード生成、数学的推論など、様々なタスクに関する広範な実験を通じて実証される。
  論文  参考訳（メタデータ） (2024-07-02T08:38:31Z)
• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Language Model Cascades: Token-level uncertainty and beyond [65.38515344964647]
  言語モデル(LM)の最近の進歩により、複雑なNLPタスクの品質が大幅に向上した。 Cascadingは、より好ましいコスト品質のトレードオフを達成するためのシンプルな戦略を提供する。 トークンレベルの不確実性を学習後遅延ルールに組み込むことで,単純な集約戦略を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-04-15T21:02:48Z)
• Escape Sky-high Cost: Early-stopping Self-Consistency for Multi-step Reasoning [15.088675135566646]
  自己整合性(Self-Consistency, SC)は、思考の連鎖推論のためのデコード戦略として広く用いられている。 我々は,SCのコストを大幅に削減する,シンプルでスケーラブルなサンプリングプロセスである textbfEarpping textbfSelf-textbfConsistency (ESC) を提案する。
  論文  参考訳（メタデータ） (2024-01-19T04:03:59Z)
• Task-specific experimental design for treatment effect estimation [59.879567967089145]
  因果推論の標準は大規模ランダム化試験(RCT)である。 近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。 実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
  論文  参考訳（メタデータ） (2023-06-08T18:10:37Z)
• Delving into Identify-Emphasize Paradigm for Combating Unknown Bias [52.76758938921129]
  同定精度を高めるため,有効バイアス強調スコアリング法(ECS)を提案する。 また, マイニングされたバイアスアライメントとバイアスコンプリケート試料のコントリビューションのバランスをとるために, 勾配アライメント(GA)を提案する。 様々な環境で複数のデータセットで実験を行い、提案されたソリューションが未知のバイアスの影響を軽減することを実証した。
  論文  参考訳（メタデータ） (2023-02-22T14:50:24Z)
• Explaining with Greater Support: Weighted Column Sampling Optimization for q-Consistent Summary-Explanations [1.6262731094866383]
  $q$-consistent summary-explanationは、一貫性をわずかに低くするコストで、より大きなサポートを達成することを目的としている。 問題は、$q$-consistent summary-explanation (MSqC) の最大サポート問題は、元のMS問題よりもずっと複雑である。 解の時間効率を改善するために,重み付きカラムサンプリング法(WCS)を提案する。
  論文  参考訳（メタデータ） (2023-02-09T09:40:30Z)
• Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity [55.29408396918968]
  多クラス分類のためのラベル分布ロバスト(LDR)損失という損失関数群について検討した。 我々の貢献は、多クラス分類のためのLDR損失のトップ$kの一貫性を確立することによって、一貫性と堅牢性の両方を含んでいる。 本稿では,各インスタンスのクラスラベルの雑音度に個別化温度パラメータを自動的に適応させる適応型LDR損失を提案する。
  論文  参考訳（メタデータ） (2021-12-30T00:27:30Z)
• Evolutionary Optimization of High-Coverage Budgeted Classifiers [1.7767466724342065]
  予算付き多機能分類器(MSC)プロセスは、部分的特徴取得および評価ステップのシーケンスを通じて入力される。 本稿では,不確定な予測のための端末拒否オプションを組み込んだ問題固有MSCを提案する。 アルゴリズムの設計は、一意化による集約性能の概念を尊重しながら効率を重視している。
  論文  参考訳（メタデータ） (2021-10-25T16:03:07Z)
• On Efficient and Robust Metrics for RANSAC Hypotheses and 3D Rigid Registration [51.64236850960365]
  本稿では, 高精度な3次元剛性登録を実現するために, RANSAC仮説の効率的かつ堅牢な評価指標の開発に焦点をあてる。 Inlierとoutlierのコントリビューションを分析し、RANSAC仮説の異なる設計モチベーションを持つ、いくつかの効率的で堅牢なメトリクスを提案する。
  論文  参考訳（メタデータ） (2020-11-10T02:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。