論文の概要: Back to the Beginning of Heuristic Design: Bridging Code and Knowledge with LLMs

• arxiv url: http://arxiv.org/abs/2605.06123v1
• Date: Thu, 07 May 2026 12:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.769651
• Title: Back to the Beginning of Heuristic Design: Bridging Code and Knowledge with LLMs
• Title（参考訳）: ヒューリスティックデザインの始まりにさかのぼる - LLMによるコードと知識のブリッジ
• Authors: Nguyen Viet Tuan Kiet, Bui Dinh Pham, Dao Van Tung, Tran Cong Dao, Huynh Thi Thanh Binh,
• Abstract要約: 大規模言語モデル (LLM) は、最近最適化のための高度自動設計 (AHD) を発表した。 既存のほとんどのアプローチは実行可能プログラムを探索し、実行フィードバックから洞察を抽出し、後続のイテレーションをガイドする。 我々は知識が主検索対象となり、コードは単にそれをインスタンス化し、テストするだけであると主張している。
• 参考スコア（独自算出の注目度）: 8.10827298136302
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have recently advanced automatic heuristic design (AHD) for combinatorial optimization (CO), where candidate heuristics are iteratively proposed, evaluated, and refined. Most existing approaches search over executable programs and distill insights from execution feedback to guide later iterations. Because this process moves from low-level implementations to high-level principles, we refer to it as a bottom-up paradigm. We argue that this view is incomplete and introduce a complementary top-down perspective: knowledge becomes the primary search object and code merely instantiates and tests it, making what is learned explicit and reusable across problems and trajectories. We formalize this shift through a statistical-learning view that exposes a distortion--compression trade-off, and instantiate it in both population-based and tree-based AHD frameworks. Across CO and tasks beyond it, knowledge-first search improves discovery efficiency, transfer, and generalization, often outperforming code-centric pipelines, while combining both strategies yields further gains. Our results suggest that progress in AHD depends on iteratively constructing and evolving interpretable hypotheses that retain value beyond a single search trajectory.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近、組合せ最適化(CO)のための自動ヒューリスティック設計(AHD)が進歩し、候補ヒューリスティックが反復的に提案され、評価され、洗練されている。 既存のほとんどのアプローチは実行可能プログラムを探索し、実行フィードバックから洞察を抽出し、後続のイテレーションをガイドする。 このプロセスは低レベルの実装から高レベルの原則へと移行するので、ボトムアップパラダイムとして言及します。 知識は主要な検索対象となり、コードは単にそれをインスタンス化し、テストするだけで、問題や軌跡をまたいで学習されたものを明示的に再利用可能なものにします。 我々は、このシフトを、歪み圧縮トレードオフを露呈する統計的学習の視点で形式化し、人口ベースと樹木ベースのAHDフレームワークの両方でインスタンス化する。 COとそれを超えるタスクにおいて、知識優先探索は発見効率、転送、一般化を改善し、コード中心のパイプラインを上回り、両方の戦略を組み合わせることでさらなる利益を得る。 以上の結果から,AHDの進行は,1つの探索軌道を超えて価値を保持する解釈可能な仮説を反復的に構築し,進化させることに依存することが示唆された。

関連論文リスト

• Evolution of Optimization Methods: Algorithms, Scenarios, and Evaluations [98.44542103979735]
  勾配勾配降下法(SGD)とアダム(Adam)による1次勾配勾配降下法は、現代の訓練パイプラインの基礎となる。 大規模モデルトレーニング、厳格なプライバシ要件、分散学習パラダイムは、プライバシ保護とメモリ効率に関する従来のアプローチにおける重要な制限を明らかにする。 深層学習最適化アルゴリズムの進化軌道を振り返って分析し、様々なモデルアーキテクチャやトレーニングシナリオの主流を包括的に評価する。 我々は、重要な新興トレンドと基本設計のトレードオフを抽出し、将来の研究の有望な方向性を示唆する。
  論文  参考訳（メタデータ） (2026-04-14T17:01:36Z)
• Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
  基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。 空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。 LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2026-03-18T15:28:07Z)
• Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining [66.89012795621349]
  大規模言語モデル(LLM)は、複雑なソフトウェア工学に必要な、深く、長期にわたる推論に苦しむことが多い。 本稿では,再構築による理解という,新しいパラダイムを提案する。 マルチエージェントシミュレーションを用いて潜在エージェント軌道を合成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-11T09:23:20Z)
• Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
  アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
  論文  参考訳（メタデータ） (2025-12-23T08:14:44Z)
• TopoSizing: An LLM-aided Framework of Topology-based Understanding and Sizing for AMS Circuits [7.615431299673158]
  従来のブラックボックス最適化はサンプリング効率を実現するが、回路理解に欠ける。 提案するTopoSizeは、生のネットリストから直接、堅牢な回路理解を行うエンドツーエンドフレームワークである。
  論文  参考訳（メタデータ） (2025-09-17T16:52:46Z)
• Hierarchical Verification of Speculative Beams for Accelerating LLM Inference [0.0]
  階層的検証木(Hierarchical Verification Tree、HVT)は投機的ビーム復号化を高度に優先順位付けすることで再構成する新しいフレームワークである。 HVTは既存の投機的復号法を一貫して上回り、推論時間とエネルギー消費を大幅に削減する。 発見は、大規模言語モデル推論を加速するための新しい方向として階層的検証戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2025-07-30T02:58:03Z)
• SoftPipe: A Soft-Guided Reinforcement Learning Framework for Automated Data Preparation [10.764970149373845]
  我々は,厳格な制約をソフトガイダンスのパラダイムに置き換える,新しいRLフレームワークであるSoftPipeを紹介した。 我々は、SoftPipeがパイプラインの品質を最大13.9%改善し、2.8$times$既存の方法よりも高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2025-07-18T07:43:22Z)
• Re-ranking Reasoning Context with Tree Search Makes Large Vision-Language Models Stronger [51.01841635655944]
  大規模視覚言語モデル(LVLM)の最近の進歩は、視覚質問応答(VQA)タスクのパフォーマンスを著しく改善している。 既存の手法は、推論例による知識の不足や、抽出された知識からの不規則な応答など、依然として課題に直面している。 我々は、Reasoning Context-enriched knowledge baseとTree Search re-level methodを構築し、LVLMを強化したRCTSと呼ばれるマルチモーダルRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-09T14:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。