論文の概要: ModeX: Evaluator-Free Best-of-N Selection for Open-Ended Generation

• arxiv url: http://arxiv.org/abs/2601.02535v1
• Date: Mon, 05 Jan 2026 20:16:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.718039
• Title: ModeX: Evaluator-Free Best-of-N Selection for Open-Ended Generation
• Title（参考訳）: ModeX: オープンエンディングジェネレーションのための評価器なしベストオブN選択
• Authors: Hyeong Kyu Choi, Sharon Li,
• Abstract要約: 提案するModeX(ModeX)は,大規模言語モデルを対象とした評価自由なベストオブN選択フレームワークである。 ModeXは生成したテキスト間の支配的なセマンティックコンセンサスを表すモーダル出力を識別することでBest-of-Nを一般化する。 私たちのアプローチは、標準のシングルパスとマルチパスのベースラインを一貫して上回ります。
• 参考スコア（独自算出の注目度）: 11.11304172584584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Selecting a single high-quality output from multiple stochastic generations remains a fundamental challenge for large language models (LLMs), particularly in open-ended tasks where no canonical answer exists. While Best-of-N and self-consistency methods show that aggregating multiple generations can improve performance, existing approaches typically rely on external evaluators, reward models, or exact string-match voting, limiting their applicability and efficiency. We propose Mode Extraction (ModeX), an evaluator-free Best-of-N selection framework that generalizes majority voting to open-ended text generation by identifying the modal output representing the dominant semantic consensus among generated texts. ModeX constructs a similarity graph over candidate generations and recursively applies spectral clustering to select a representative centroid, without requiring additional inference or auxiliary models. We further instantiate this selection principle as ModeX--Lite, an improved version of ModeX with early pruning for efficiency. Across open-ended tasks--including text summarization, code generation, and mathematical reasoning--our approaches consistently outperform standard single- and multi-path baselines, providing a computationally efficient solution for robust open-ended text generation. Code is released in https://github.com/deeplearning-wisc/ModeX.
• Abstract（参考訳）: 複数の確率的世代から1つの高品質な出力を選択することは、大規模言語モデル(LLM)にとって、特に標準解が存在しないオープンエンドタスクにおいて、根本的な課題である。 Best-of-N と self-consistency メソッドは、複数の世代を集約することでパフォーマンスが向上することを示しているが、既存のアプローチは通常、外部評価器、報酬モデル、あるいは正確な文字列マッチ投票に依存し、適用性と効率を制限している。 提案するモード抽出(ModeX)は,生成したテキスト間の有意なセマンティックコンセンサスを表すモーダル出力を同定することにより,多数決をオープンエンドテキスト生成に一般化する,評価自由なBest-of-N選択フレームワークである。 ModeXは、候補世代に類似性グラフを構築し、スペクトルクラスタリングを再帰的に適用して、追加の推論や補助モデルを必要としない代表セントロイドを選択する。 さらに、この選択原理をModeX-Liteとしてインスタンス化する。 テキスト要約、コード生成、数学的推論を含むオープンエンドタスク全体において、我々のアプローチは標準のシングルパスおよびマルチパスベースラインを一貫して上回り、堅牢なオープンエンドテキスト生成のための計算効率の良いソリューションを提供する。 コードはhttps://github.com/deeplearning-wisc/ModeXで公開されている。

関連論文リスト

• Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation [72.34977512403643]
  Retrieval-Augmented Generation (RAG) は、外部コーパスから関連文書を取得することで、大規模言語モデル(LLM)を強化するための強力なパラダイムとして登場した。 既存のRAGシステムは、主に平凡なテキスト文書に焦点を当てており、クエリとドキュメントの両方が(テキストや画像のような)混合モダリティを含む実世界のシナリオでは、しばしば不足している。 我々は,Universal Retrieval-Augmented Generationシナリオに適した混合モーダル-混合モーダルレトリバーであるNyxを提案する。
  論文  参考訳（メタデータ） (2025-10-20T09:56:43Z)
• Sample, Don't Search: Rethinking Test-Time Alignment for Language Models [55.2480439325792]
  新しいテストタイムアライメントアプローチであるQAlignを紹介します。 テスト時間計算をスケールする際、QAlignは各プロンプトの最適配向分布からのサンプリングに収束する。 マルコフ連鎖モンテカルロのテキスト生成における最近の進歩を取り入れることで、基礎となるモデルを変更したり、ロジットアクセスを必要とせずに、より良い整合出力を可能にする。
  論文  参考訳（メタデータ） (2025-04-04T00:41:40Z)
• Towards Better Open-Ended Text Generation: A Multicriteria Evaluation Framework [0.1979158763744267]
  オープンエンドテキスト生成は自然言語処理において顕著な課題となっている。 これらのモデルの品質と 採用した復号化戦略を評価することは 依然として困難です 本稿では,デコード手法の相対的および絶対的ランク付けのための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-24T11:32:01Z)
• PAK-UCB Contextual Bandit: An Online Learning Approach to Prompt-Aware Selection of Generative Models and LLMs [38.167419614117044]
  本研究では,与えられた入力プロンプトに対して最適なデータ生成モデルを予測するためのオンライン学習フレームワークを提案する。 提案したPAK-UCBアルゴリズムは、腕に共通するコンテキスト変数を持つコンテキスト帯域(CB)設定に対処する。 実画像と画像と画像の合成モデルを用いた実験により,RFF-UCBは最適な生成モデルを特定するのに成功していることが示された。
  論文  参考訳（メタデータ） (2024-10-17T07:33:35Z)
• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Lightweight reranking for language model generations [26.942659041383596]
  本稿では,Large Language Models (LLM) 世代を再評価するための新しいアプローチを提案する。 追加の推論や特殊リランカの訓練を含む他の手法とは異なり、我々の手法はペアワイズ統計の計算が容易である。 コード生成タスクで最高のk世代を選択するための強力な改善と、オートフォーマライズ、要約、翻訳のタスクで最高の世代で堅牢な改善を示す。
  論文  参考訳（メタデータ） (2023-07-11T17:51:48Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。