論文の概要: ConceptSearch: Towards Efficient Program Search Using LLMs for Abstraction and Reasoning Corpus (ARC)

• arxiv url: http://arxiv.org/abs/2412.07322v1
• Date: Tue, 10 Dec 2024 09:10:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:18.952808
• Title: ConceptSearch: Towards Efficient Program Search Using LLMs for Abstraction and Reasoning Corpus (ARC)
• Title（参考訳）: ConceptSearch: 抽象と推論コーパス(ARC)のためのLLMを用いた効率的なプログラム検索を目指して
• Authors: Kartik Singhal, Gautam Shroff,
• Abstract要約: ConceptSearchは、コンセプトベースのスコアリングを使用して、検索を効率的にガイドする新しい関数検索アルゴリズムである。 実験結果はConceptSearchの有効性を示し、直接プロンプトよりも大幅なパフォーマンス向上を実現している。 これらの知見は、概念に基づくガイダンスと統合されたLLMによるプログラム探索の可能性を強調した。
• 参考スコア（独自算出の注目度）: 5.333409383920058
• License:
• Abstract: The Abstraction and Reasoning Corpus (ARC) poses a significant challenge to artificial intelligence, demanding broad generalization and few-shot learning capabilities that remain elusive for current deep learning methods, including large language models (LLMs). While LLMs excel in program synthesis, their direct application to ARC yields limited success. To address this, we introduce ConceptSearch, a novel function-search algorithm that leverages LLMs for program generation and employs a concept-based scoring method to guide the search efficiently. Unlike simplistic pixel-based metrics like Hamming distance, ConceptSearch evaluates programs on their ability to capture the underlying transformation concept reflected in the input-output examples. We explore three scoring functions: Hamming distance, a CNN-based scoring function, and an LLM-based natural language scoring function. Experimental results demonstrate the effectiveness of ConceptSearch, achieving a significant performance improvement over direct prompting with GPT-4. Moreover, our novel concept-based scoring exhibits up to 30% greater efficiency compared to Hamming distance, measured in terms of the number of iterations required to reach the correct solution. These findings highlight the potential of LLM-driven program search when integrated with concept-based guidance for tackling challenging generalization problems like ARC. Code: https://github.com/kksinghal/concept-search
• Abstract（参考訳）: Abstraction and Reasoning Corpus(ARC)は、大規模な言語モデル(LLM)を含む現在のディープラーニング手法において、広範に一般化と少数のショット学習能力を必要とする、人工知能に重大な課題を提起している。 LLMはプログラム合成に優れているが、ARCへの直接適用は限られた成功をもたらす。 これを解決するために,プログラム生成にLLMを利用する新しい関数探索アルゴリズムであるConceptSearchを導入し,探索を効率的に導くために概念ベースのスコアリング手法を用いる。 ハミング距離のような単純なピクセルベースのメトリクスとは異なり、ConceptSearchは入力出力の例に反映された基礎となる変換概念をキャプチャするプログラムを評価する。 我々は,ハミング距離,CNNに基づくスコアリング関数,LLMに基づく自然言語スコアリング関数の3つのスコアリング関数について検討する。 実験の結果,GPT-4による直接的プロンプトよりも優れた性能向上を実現したConceptSearchの有効性が示された。 さらに, 提案手法では, ハミング距離よりも30%高い効率性を示し, 正しい解に到達するのに要する反復回数を測定した。 これらの知見は、ARCのような難解な一般化問題に対処するための概念に基づくガイダンスと統合されたLLMによるプログラム探索の可能性を強調した。 コード:https://github.com/kksinghal/concept-search

関連論文リスト

• LLM Program Optimization via Retrieval Augmented Search [71.40092732256252]
  提案手法は,提案手法によって最適化されたビーム探索を行う検索アルゴリズムであるRetrieval Augmented Search (RAS) である。 我々は、RASが従来の最先端のブラックボックス適応戦略よりも1.8$times$パフォーマンスが高いことを示す。 また、トレーニング例を「アトミックな編集」に分解することで、解釈可能性を向上させるAEGISと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2025-01-31T06:34:47Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• On the Design and Analysis of LLM-Based Algorithms [74.7126776018275]
  大規模言語モデル(LLM)はアルゴリズムのサブルーチンとして使用される。 LLMは素晴らしい経験的成功を収めた。 提案フレームワークは,LLMアルゴリズムの進歩を約束する。
  論文  参考訳（メタデータ） (2024-07-20T07:39:07Z)
• Meta Reasoning for Large Language Models [58.87183757029041]
  大規模言語モデル(LLM)の新規かつ効率的なシステムプロセッシング手法であるメタ推論プロンプト(MRP)を導入する。 MRPは、各タスクの特定の要求に基づいて異なる推論メソッドを動的に選択し、適用するようLLMに誘導する。 総合的なベンチマークによりMPPの有効性を評価する。
  論文  参考訳（メタデータ） (2024-06-17T16:14:11Z)
• Synthesizing Programmatic Reinforcement Learning Policies with Large Language Model Guided Search [7.769411917500852]
  LLM誘導検索フレームワーク(LLM-GS)について紹介する。 我々の重要な洞察は、LLMのプログラミングの専門知識と常識推論を活用して、仮定不要でランダムな探索手法の効率を高めることである。 本研究では,プログラム探索空間を効率的に探索し,一貫したプログラムを改善するための探索アルゴリズムであるSchduled Hill Climbingを開発した。
  論文  参考訳（メタデータ） (2024-05-26T06:33:48Z)
• VURF: A General-purpose Reasoning and Self-refinement Framework for Video Understanding [65.12464615430036]
  本稿では,Large Language Models (LLM) の推論能力に基づくビデオ理解・推論フレームワーク (VURF) を提案する。 ビデオタスクの文脈でLLMの実用性を拡張するための新しいアプローチである。 我々は,その文脈学習能力を利用して,映像理解のための実行可能な視覚プログラムを生成する。
  論文  参考訳（メタデータ） (2024-03-21T18:00:00Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
  大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。 近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
  論文  参考訳（メタデータ） (2024-01-17T08:22:52Z)
• Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models [17.059322033670124]
  本稿では,アルゴリズム的推論経路を通じて大規模言語モデルを促進する新しい手法を提案する。 この結果から,LLMをアルゴリズムを用いて指導すると,アルゴリズム自体よりも性能が向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2023-08-20T22:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。