論文の概要: LLM Library Learning Fails: A LEGO-Prover Case Study

• arxiv url: http://arxiv.org/abs/2504.03048v1
• Date: Thu, 03 Apr 2025 21:53:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:26.819123
• Title: LLM Library Learning Fails: A LEGO-Prover Case Study
• Title（参考訳）: LLMライブラリ学習障害:LEGO-Proverケーススタディ
• Authors: Ian Berlot-Attwell, Frank Rudzicz, Xujie Si,
• Abstract要約: レゴプロバーは, 数学的推論のための再利用可能な補題を学習する。 学習したレムマの直接再利用の証拠は見つからず、学習したレムマのソフト再利用に対する証拠も見つからない。 本研究は,これらの手法の有効性について,重大な誤解が存在することを示唆している。
• 参考スコア（独自算出の注目度）: 20.25809428140996
• License:
• Abstract: Recent advancements in the coding, reasoning, and tool-using abilities of LLMs have spurred interest in library learning (i.e., online learning through the creation, storage, and retrieval of reusable and composable functions, knowledge, checklists, or lemmas). Such systems often promise improved task performance through the automatic creation of broadly applicable tools, as well as superior computational performance through the caching of reasoning (i.e., the storage of generated tools). However, we find strong reason to be skeptical. We perform a deep dive into one such system, LEGO-Prover, which purports to learn reusable lemmas for mathematical reasoning. We find no evidence of the direct reuse of learned lemmas, and find evidence against the soft reuse of learned lemmas (i.e., reuse by modifying relevant examples). Crucially, we find that LEGO-Prover does not in fact improve over the simple baseline of prompting the model - the improvements in task accuracy vanish once computational cost is accounted for. Our findings suggest that serious misconceptions exist as to the effectiveness of these techniques, that a serious re-examination of the state of LLM-based library learning is required, and that we require much stronger standards for evaluation including behavioural analysis and ensuring that an equal computational budget is used for baselines.
• Abstract（参考訳）: LLMのコーディング、推論、ツール利用能力の最近の進歩は、図書館学習(再利用可能な機能、知識、チェックリスト、レムマ)への関心を喚起している。 このようなシステムは、広く適用可能なツールの自動作成によるタスクパフォーマンスの向上と、推論のキャッシュ(すなわち生成されたツールのストレージ)による計算性能の向上を約束することが多い。 しかし、疑わしい理由が強い。 このようなシステム、LEGO-Proverを深く掘り下げて、数学的推論のために再利用可能なレムマを学習できるようにします。 学習した補題の直接的な再利用の証拠は見つからず、学習した補題のソフトな再利用(すなわち、関連する例を変更することで再利用)に対する証拠も見つからない。 重要なことに、LEGO-Proverは、モデルを促進する単純なベースラインよりも、実際には改善されていない。 本研究は,これらの手法の有効性に重大な誤解が存在すること,LLMに基づく図書館学習の実態の再検討が必要であること,また,行動分析を含む評価基準の強化,等額の計算予算がベースラインに使用されていること,などが示唆された。

関連論文リスト

• A Framework for Using LLMs for Repository Mining Studies in Empirical Software Engineering [12.504438766461027]
  大規模言語モデル(LLM)は、ソフトウェアリポジトリを分析する革新的な方法を提供することで、ソフトウェア工学(SE)を変革した。 私たちの研究は、PRIMES(Prompt Refinement and Insights for Mining Empirical Software repository)というフレームワークをまとめています。 この結果,PRIMESの標準化により,LLMを用いた研究の信頼性と精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-15T06:08:57Z)
• AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant [23.366991558162695]
  大規模言語モデルは「幻覚」として知られる事実的に誤った情報を生成する これらの課題に対処するため、我々はAssistRAG(AssistRAG)を用いた検索生成支援システムを提案する。 このアシスタントは、ツールの使用、アクションの実行、メモリ構築、プラン仕様を通じて、メモリと知識を管理する。
  論文  参考訳（メタデータ） (2024-11-11T09:03:52Z)
• Library Learning Doesn't: The Curious Case of the Single-Use "Library" [20.25809428140996]
  LEGO-ProverとTroVEの2つのライブラリ学習システムについて検討した。 機能再利用は miniF2F と MATH では極めて稀である。 我々の追跡実験は、再利用よりも自己補正と自己整合が、観察されたパフォーマンス向上の主要な要因であることを示唆している。
  論文  参考訳（メタデータ） (2024-10-26T21:05:08Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。