論文の概要: Leveraging LLM Inconsistency to Boost Pass@k Performance

• arxiv url: http://arxiv.org/abs/2505.12938v2
• Date: Tue, 20 May 2025 14:22:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 12:33:37.449734
• Title: Leveraging LLM Inconsistency to Boost Pass@k Performance
• Title（参考訳）: LLMの不整合を利用したPass@kパフォーマンス向上
• Authors: Uri Dalal, Meirav Segal, Zvika Ben-Haim, Dan Lahav, Omer Nevo,
• Abstract要約: 大規模言語モデル(LLM)は、多くのドメインにおいて印象的な能力を発揮するが、マイナーな入力変更に対する不整合性を示す。 本稿では,Pass@kの性能向上にモデルの不整合を利用した新しい手法を提案する。 具体的には、与えられたタスクのk変種を生成し、各タスクに対して1つの候補解を提出する「変数」エージェントを提案する。
• 参考スコア（独自算出の注目度）: 3.797421474324735
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) achieve impressive abilities in numerous domains, but exhibit inconsistent performance in response to minor input changes. Rather than view this as a drawback, in this paper we introduce a novel method for leveraging models' inconsistency to boost Pass@k performance. Specifically, we present a "Variator" agent that generates k variants of a given task and submits one candidate solution for each one. Our variant generation approach is applicable to a wide range of domains as it is task agnostic and compatible with free-form inputs. We demonstrate the efficacy of our agent theoretically using a probabilistic model of the inconsistency effect, and show empirically that it outperforms the baseline on the APPS dataset. Furthermore, we establish that inconsistency persists even in frontier reasoning models across coding and cybersecurity domains, suggesting our method is likely to remain relevant for future model generations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くのドメインにおいて印象的な能力を発揮するが、マイナーな入力変更に対する不整合性を示す。 本稿では,モデルの不整合を利用したPass@kの性能向上手法を提案する。 具体的には、与えられたタスクのk変種を生成し、各タスクに対して1つの候補解を提出する「変数」エージェントを提案する。 我々の変分生成アプローチはタスク非依存であり、自由形式の入力と互換性があるため、幅広い領域に適用できる。 不整合効果の確率モデルを用いて理論的にエージェントの有効性を実証し,APPSデータセットのベースラインよりも優れていることを示す。 さらに,コーディングドメインとサイバーセキュリティドメインをまたいだ最前線の推論モデルにおいても一貫性が保たれることが確認された。

関連論文リスト

• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Lightweight reranking for language model generations [26.942659041383596]
  本稿では,Large Language Models (LLM) 世代を再評価するための新しいアプローチを提案する。 追加の推論や特殊リランカの訓練を含む他の手法とは異なり、我々の手法はペアワイズ統計の計算が容易である。 コード生成タスクで最高のk世代を選択するための強力な改善と、オートフォーマライズ、要約、翻訳のタスクで最高の世代で堅牢な改善を示す。
  論文  参考訳（メタデータ） (2023-07-11T17:51:48Z)
• Making Substitute Models More Bayesian Can Enhance Transferability of Adversarial Examples [89.85593878754571]
  ディープニューラルネットワークにおける敵の例の転送可能性は多くのブラックボックス攻撃の欠如である。 我々は、望ましい転送可能性を達成するためにベイズモデルを攻撃することを提唱する。 我々の手法は近年の最先端を大きなマージンで上回る。
  論文  参考訳（メタデータ） (2023-02-10T07:08:13Z)
• Model Selection for Bayesian Autoencoders [25.619565817793422]
  本稿では,オートエンコーダの出力と経験的データ分布との分散スライス-ワッサーシュタイン距離を最適化することを提案する。 我々のBAEは、フレキシブルなディリクレ混合モデルを潜在空間に適合させることにより、生成モデルに変換する。 我々は,教師なしの学習課題に対する膨大な実験的キャンペーンを質的かつ定量的に評価し,先行研究が重要となる小規模データ体制において,我々のアプローチが最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-06-11T08:55:00Z)
• MASSIVE: Tractable and Robust Bayesian Learning of Many-Dimensional Instrumental Variable Models [8.271859911016719]
  モデル不確実性を考慮した汎用的かつ効率的な因果推論アルゴリズムを提案する。 いくつかの候補が(近い)有効である限り、どの候補が先験的かを知ることなく、それらの集団が目標との相互作用に十分な制限を課し、信頼できる因果効果の推定を得る。
  論文  参考訳（メタデータ） (2020-12-18T10:06:55Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。