論文の概要: LLM Evolutionary Search Strategies Should be Compared by Tokens

• arxiv url: http://arxiv.org/abs/2610.23977v1
• Date: Tue, 13 Oct 2026 12:47:59 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:50:14.415897
• Title: LLM Evolutionary Search Strategies Should be Compared by Tokens
• Title（参考訳）: LLMの進化的検索戦略をtokensで比較すべきである
• Abstract要約: LLM進化探索は、現在、提案(候補プログラム)を数えて評価されている。 この指標は, 検索の真のコストを隠蔽し, トークンを用いて比較を繰り返すことを実証する。 等質比較では、これは静かに他の計算の最大1.9倍のメソッドを与え、独立サンプリングの予算の約6倍の進化を与える。
• 参考スコア（独自算出の注目度）: 2.3165808794695915
• License:
• Abstract: LLM evolutionary search is currently evaluated by counting proposals (candidate programs). We demonstrate this metric hides the true cost of search, and redo the comparison using tokens. By replaying 600 logged runs across 5 tasks and 3 methods, we show that proposal costs vary wildly from 16k to 39k tokens. In equal-proposal comparisons, this silently grants some methods up to 1.9x the compute of others, and gives evolution roughly 6x the budget of independent sampling. When we match token budgets, giving sampling six times more attempts, and remove scorer exploits, the evolutionary advantage largely vanishes. Evolution beats independent sampling by 5% or less on 12 of 15 task-method pairs, retaining a 23 to 28% margin on only 3, all on one task. A replication with Claude Haiku 4.5 reproduces this split, though a third backbone shows its size depends on the model too. The performance margin justifying these systems is often an accounting artifact. Reporting tokens, not proposals and not model calls, fixes this and costs nothing, as the logs already hold them.
• Abstract（参考訳）: LLMの進化的探索は、現在、提案(候補プログラム)を数えることによって評価されている。 このメトリクスは、検索の真のコストを隠蔽し、トークンを用いて比較を再定義する。 5つのタスクと3つのメソッドにまたがる600のログ実行を再生することにより、提案コストが16kから39kトークンに大きく異なることを示す。 等質比較では、これは静かに他の計算の最大1.9倍のメソッドを与え、独立サンプリングの予算の約6倍の進化を与える。 トークンの予算にマッチし、6倍の試行をサンプリングし、スコアラのエクスプロイトを取り除くと、進化的優位性はほとんど失われます。 進化は、15つのタスクメソッドペアのうち12つに対して、独立サンプリングを5%以下で打ち負かし、たった3つのタスクで23～28%のマージンを保持する。 Claude Haiku 4.5による複製はこの分割を再現するが、第3のバックボーンはそのサイズもモデルに依存する。 これらのシステムを正当化するパフォーマンスマージンは、しばしば会計成果物である。 提案ではなく、モデル呼び出しではなく、トークンを報告することで、これを修正し、ログが保持しているため、何もコストがかからない。

関連論文リスト

• Evolution or Illusion? Rethinking Evaluation in LLM Evolutionary Search [2.3165808794695915]
  LLMによる進化的探索は、種子を発射し、それぞれのプログラムを反復することによってプログラムを見つける。 本研究は,5つの最適化課題における3つの進化的探索戦略を評価する。
  論文  参考訳（メタデータ） (2026-09-17T07:12:42Z)
• When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis [66.34225048563418]
  大規模言語モデル(LLM)エージェントは、ソリューションを修正し、ツールを使用し、代替品を探究し、いつ停止するかを決定する際に、テスト時間計算を適応的に割り当てる。 Elo-per-token分析を提案し,各トークン予算の最適解を追跡する。 我々はこれを4つのオープンエンドベンチマークで4つの汎用エージェントに適用し、最大100万トークンのセッションを行う。
  論文  参考訳（メタデータ） (2026-09-14T09:57:49Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Lossless but Not Free: An Empirical Anatomy of Speculative Decoding on Consumer Hardware [0.0]
  大規模言語モデルのシングルストリーム自動回帰復号化は、メモリ帯域幅によって制限される。 小さなドラフトモデルは、自動回帰的に$K$トークンを提案し、ターゲットモデルは、これらすべてを1回のバッチパスでスコアする。 本稿では、CUDA/MPS/CPUの実装と、5つのドラフト/ターゲットバックエンド構成に関する実証的研究を紹介する。
  論文  参考訳（メタデータ） (2026-07-19T15:01:35Z)
• The Coupling Tax: How Shared Token Budgets Undermine Visible Chain-of-Thought Under Fixed Output Limits [12.316478346055618]
  思考の連鎖推論はしばしば、モデルを長く考えることで言語モデル精度を改善するための単調な方法として扱われる。 トレースと最終回答の推論が1つのアウトプットの予算を共有している場合、長いトレースは彼らがサポートしようとしている回答をかき集めることができます。 GSM8K、MATH-500、および5つのBIG-Bench HardタスクをQwen3モデルで3つのスケールで実行し、GSM8KとMATH-500では最大2048トークンまでの予算で非思考モードマッチや優れた思考モードを実現した。
  論文  参考訳（メタデータ） (2026-05-08T12:54:53Z)
• The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
  CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。 トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。 利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
  論文  参考訳（メタデータ） (2026-04-28T13:35:31Z)
• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Scalable 3D Registration via Truncated Entry-wise Absolute Residuals [65.04922801371363]
  3ドルの登録アプローチでは、1000万ドル(107ドル)以上のポイントペアを、99%以上のランダムなアウトレイアで処理することができる。 我々はこの手法をTEARと呼び、Trncated Entry-wise Absolute Residualsを演算するoutlier-robust損失を最小限にする。
  論文  参考訳（メタデータ） (2024-04-01T04:43:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。