論文の概要: Contrastive Concept-Tree Search for LLM-Assisted Algorithm Discovery

• arxiv url: http://arxiv.org/abs/2602.03132v1
• Date: Tue, 03 Feb 2026 05:41:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:15.266165
• Title: Contrastive Concept-Tree Search for LLM-Assisted Algorithm Discovery
• Title（参考訳）: LLM支援アルゴリズム発見のためのコントラシティブなコンセプトトレー探索
• Authors: Timothee Leleu, Sudeera Gunathilaka, Federico Ghimenti, Surya Ganguli,
• Abstract要約: 大規模言語モデル (LLM) によるアルゴリズム発見は、プログラムに対する反復的、ブラックボックス最適化プロセスである。 本稿では、生成したプログラムから階層的な概念表現を抽出するContrastive Concept-Tree Search(CCTS)を紹介する。 CCTSは、フィットネスベースのベースラインよりも検索効率を向上し、解釈可能なタスク固有の概念ツリーを生成する。
• 参考スコア（独自算出の注目度）: 10.823958143531685
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language Model (LLM)-assisted algorithm discovery is an iterative, black-box optimization process over programs to approximatively solve a target task, where an LLM proposes candidate programs and an external evaluator provides task feedback. Despite intense recent research on the topic and promising results, how can the LLM internal representation of the space of possible programs be maximally exploited to improve performance is an open question. Here, we introduce Contrastive Concept-Tree Search (CCTS), which extracts a hierarchical concept representation from the generated programs and learns a contrastive concept model that guides parent selection. By reweighting parents using a likelihood-ratio score between high- and low-performing solutions, CCTS biases search toward useful concept combinations and away from misleading ones, providing guidance through an explicit concept hierarchy rather than the algorithm lineage constructed by the LLM. We show that CCTS improves search efficiency over fitness-based baselines and produces interpretable, task-specific concept trees across a benchmark of open Erdős-type combinatorics problems. Our analysis indicates that the gains are driven largely by learning which concepts to avoid. We further validate these findings in a controlled synthetic algorithm-discovery environment, which reproduces qualitatively the search dynamics observed with the LLMs.
• Abstract（参考訳）: 大規模言語モデル (LLM) によるアルゴリズム探索は、LLMが候補プログラムを提案し、外部評価器がタスクフィードバックを提供する場合、目標タスクを近似的に解くためにプログラム上で繰り返し、ブラックボックス最適化プロセスである。 このトピックと有望な結果に関する最近の研究にもかかわらず、LLMの内部表現を最大限に活用してパフォーマンスを向上させるにはどうすればよいのかは、未解決の問題である。 本稿では、生成したプログラムから階層的概念表現を抽出し、親選択を導くコントラスト的概念モデルを学ぶコントラスト的概念軌道探索(CCTS)について紹介する。 CCTSは、高パフォーマンスと低パフォーマンスのソリューション間の確率比スコアを用いて親を重み付けすることで、有用な概念の組み合わせと誤解を招くものへの探索をバイアスし、LLMによって構築されたアルゴリズムの系統ではなく、明示的な概念階層によるガイダンスを提供する。 CCTSは、オープンなエルデシュ型コンビネータ問題のベンチマークにおいて、フィットネスベースのベースラインよりも探索効率を向上し、解釈可能なタスク固有の概念ツリーを生成する。 我々の分析によると、利益は主にどの概念を避けるべきかを学ぶことによるものである。 LLMで観測された探索力学を定性的に再現する制御された合成アルゴリズム発見環境において,これらの知見をさらに検証する。

関連論文リスト

• Behavior and Representation in Large Language Models for Combinatorial Optimization: From Feature Extraction to Algorithm Selection [2.6285579209051284]
  大規模言語モデル(LLM)は、最適化における自動化の新しい視点を開いた。 本研究では,LLMが内部的に最適化問題を表現する方法と,そのような表現が下流決定タスクをサポートするかどうかを検討する。
  論文  参考訳（メタデータ） (2025-12-15T14:28:35Z)
• Position: We Need An Algorithmic Understanding of Generative AI [7.425924654036041]
  本稿では,LLMが学習・使用するアルゴリズムを体系的に研究するためのフレームワークであるAlgEvalを提案する。 AlgEvalは、潜在表現、注意、推論時間計算に反映されるアルゴリズムプリミティブと、タスク固有の問題を解決するアルゴリズム構成を明らかにすることを目的としている。
  論文  参考訳（メタデータ） (2025-07-10T08:38:47Z)
• ConceptSearch: Towards Efficient Program Search Using LLMs for Abstraction and Reasoning Corpus (ARC) [5.333409383920058]
  ConceptSearchは、コンセプトベースのスコアリングを使用して、検索を効率的にガイドする新しい関数検索アルゴリズムである。 実験結果はConceptSearchの有効性を示し、直接プロンプトよりも大幅なパフォーマンス向上を実現している。 これらの知見は、概念に基づくガイダンスと統合されたLLMによるプログラム探索の可能性を強調した。
  論文  参考訳（メタデータ） (2024-12-10T09:10:11Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。