論文の概要: Provable Benefits of In-Tool Learning for Large Language Models

• arxiv url: http://arxiv.org/abs/2508.20755v1
• Date: Thu, 28 Aug 2025 13:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-29 18:12:02.408546
• Title: Provable Benefits of In-Tool Learning for Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるツール内学習の有益性
• Authors: Sam Houliston, Ambroise Odonnat, Charles Arnal, Vivien Cabannes,
• Abstract要約: ツールの使用により,回路構成をシンプルかつ効率的に行うことで,事実上のリコールが可能になることを示す。 さらに、事前訓練された大規模言語モデルでは、ツール使用や一般的なルールは、事実を記憶に微調整するよりも効果的であることを示す。
• 参考スコア（独自算出の注目度）: 17.792294335402705
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Tool-augmented language models, equipped with retrieval, memory, or external APIs, are reshaping AI, yet their theoretical advantages remain underexplored. In this paper, we address this question by demonstrating the benefits of in-tool learning (external retrieval) over in-weight learning (memorization) for factual recall. We show that the number of facts a model can memorize solely in its weights is fundamentally limited by its parameter count. In contrast, we prove that tool-use enables unbounded factual recall via a simple and efficient circuit construction. These results are validated in controlled experiments, where tool-using models consistently outperform memorizing ones. We further show that for pretrained large language models, teaching tool-use and general rules is more effective than finetuning facts into memory. Our work provides both a theoretical and empirical foundation, establishing why tool-augmented workflows are not just practical, but provably more scalable.
• Abstract（参考訳）: 検索、メモリ、外部APIを備えたツール拡張言語モデルは、AIを再構築している。 本稿では,本研究の課題を,現実のリコールに際し,過度な学習(記憶化)よりもツール内学習(外部検索)の利点を実証することによって解決する。 モデルが重みだけを記憶できる事実の数は、パラメータ数によって根本的に制限されていることを示す。 これとは対照的に,ツールユースにより,シンプルで効率的な回路構成による非有界な事実リコールが可能であることが証明された。 これらの結果は制御された実験で検証され、ツール使用モデルの方が暗記モデルよりずっと優れています。 さらに、事前訓練された大規模言語モデルでは、ツール使用や一般的なルールは、事実を記憶に微調整するよりも効果的であることを示す。 私たちの作業は理論的および実証的な基盤を提供し、ツール拡張ワークフローが実用的ではなく、よりスケーラブルである理由を確立します。

関連論文リスト

• Understanding Tool-Integrated Reasoning [9.235747697967984]
  ツール統合推論がLarge Language Models(LLM)をより有能にする理由を考察する。 LLMはPythonのコードインタープリタのようなツールと統合されているが、なぜこのパラダイムが効果的であるかを説明する原則的な理論が欠落している。 我々は、ツールが経験的かつ実現可能なサポートを厳格に拡張し、純粋テキストモデルの能力天井を壊すことを実証した。
  論文  参考訳（メタデータ） (2025-08-26T17:03:46Z)
• Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
  Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。 各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。 我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
  論文  参考訳（メタデータ） (2025-08-06T11:22:23Z)
• LLM Library Learning Fails: A LEGO-Prover Case Study [20.25809428140996]
  レゴプロバーは, 数学的推論のための再利用可能な補題を学習する。 学習したレムマの直接再利用の証拠は見つからず、学習したレムマのソフト再利用に対する証拠も見つからない。 本研究は,これらの手法の有効性について,重大な誤解が存在することを示唆している。
  論文  参考訳（メタデータ） (2025-04-03T21:53:51Z)
• FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking [10.046323978189847]
  本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。 我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。 そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
  論文  参考訳（メタデータ） (2023-09-01T04:14:39Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
  Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。 このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
  論文  参考訳（メタデータ） (2023-05-24T01:46:07Z)
• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。