論文の概要: A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining

• arxiv url: http://arxiv.org/abs/2510.01427v1
• Date: Wed, 01 Oct 2025 20:06:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.851809
• Title: A Tale of LLMs and Induced Small Proxies: Scalable Agents for Knowledge Mining
• Title（参考訳）: LLMと小さなプロキシの物語:知識マイニングのためのスケーラブルなエージェント
• Authors: Sipeng Zhang, Longfei Yun, Zilong Wang, Jingbo Shang, Letian Peng,
• Abstract要約: Falconerは、大規模言語モデルとスケーラブルな知識マイニングのための軽量プロキシモデルを組み合わせたフレームワークである。 LLMはプランナーとして機能し、ユーザ命令を実行可能なパイプラインに分解し、アノテータとして、小さなプロキシをトレーニングするための監督を生成する。 実験の結果、Falconerは命令追従精度で最先端のLCMと密に一致し、推論コストを最大90%削減した。
• 参考スコア（独自算出の注目度）: 52.57170634957137
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At the core of Deep Research is knowledge mining, the task of extracting structured information from massive unstructured text in response to user instructions. Large language models (LLMs) excel at interpreting such instructions but are prohibitively expensive to deploy at scale, while traditional pipelines of classifiers and extractors remain efficient yet brittle and unable to generalize to new tasks. We introduce Falconer, a collaborative framework that combines the agentic reasoning of LLMs with lightweight proxy models for scalable knowledge mining. In Falconer, LLMs act as planners, decomposing user instructions into executable pipelines, and as annotators, generating supervision to train small proxies. The framework unifies classification and extraction into two atomic operations, get label and get span, enabling a single instruction-following model to replace multiple task-specific components. To evaluate the consistency between proxy models incubated by Falconer and annotations provided by humans and large models, we construct new benchmarks covering both planning and end-to-end execution. Experiments show that Falconer closely matches state-of-the-art LLMs in instruction-following accuracy while reducing inference cost by up to 90% and accelerating large-scale knowledge mining by more than 20x, offering an efficient and scalable foundation for Deep Research.
• Abstract（参考訳）: Deep Researchのコアとなるのは知識マイニングであり、ユーザからの指示に応じて、大量の構造化されていないテキストから構造化された情報を抽出する作業である。 大規模言語モデル(LLM)は、そのような命令を解釈する能力は優れているが、大規模に展開するには極めて高価である一方、従来の分類器や抽出器のパイプラインは効率的でありながら不安定であり、新しいタスクに一般化することができない。 我々は,LLMのエージェント推論と,スケーラブルな知識マイニングのための軽量プロキシモデルを組み合わせた協調フレームワークであるFalconerを紹介する。 Falconerでは、LLMはプランナーとして動作し、ユーザ命令を実行可能なパイプラインに分解し、アノテーションとして動作し、小さなプロキシをトレーニングするための監督を生成する。 このフレームワークは分類と抽出を2つのアトミックな操作に統一し、ラベルとスパンを取得し、単一の命令フォローモデルで複数のタスク固有のコンポーネントを置き換えることができる。 Falconerによってインキュベーションされたプロキシモデルと、人間と大規模モデルが提供するアノテーションの一貫性を評価するため、計画とエンドツーエンドの実行の両方をカバーする新しいベンチマークを構築した。 実験の結果、ファルコンは最先端のLCMを命令追従精度で密にマッチングし、推論コストを最大90%削減し、大規模知識マイニングを20倍以上に加速し、Deep Researchの効率的でスケーラブルな基盤を提供することが示された。

関連論文リスト

• Route-and-Reason: Scaling Large Language Model Reasoning with Reinforced Model Router [9.580226379350737]
  大規模言語モデルの問題解決能力を高めるためには,多段階推論が不可欠であることが証明されている。 しかし、多くの推論ステップは比較的単純であり、より効率的な小規模言語モデルで処理できる。 異種LLM間の協調推論を可能にする新しいフレームワークであるR2-Reasonerを提案する。
  論文  参考訳（メタデータ） (2025-06-06T09:18:56Z)
• Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models [31.962209251193272]
  CoT(Chain-of- Thought)は、大規模言語モデル(LLM)の能力を普遍的に改善することが期待される。 テスト時間計算のスケーリングに対する推論をインセンティブ化することで,複雑な命令を扱う上でのLLMを向上する体系的手法であるRAIFを提案する。 より優れたCoT施行のためのサンプルワイドコントラストによる複雑な指示の下での推論の浅く、重要でない性質に対処する。
  論文  参考訳（メタデータ） (2025-06-02T08:11:44Z)
• LaMDAgent: An Autonomous Framework for Post-Training Pipeline Optimization via LLM Agents [3.6117068575553595]
  トレーニング後の完全なパイプラインを自律的に構築し、最適化するフレームワークであるLaMDAgentを紹介します。 LaMDAgentは、ツールの使用精度を9.0ポイント向上し、命令追従機能を保持する。 従来の人間主導の探査で見落とされがちな効果的なポストトレーニング戦略を明らかにする。
  論文  参考訳（メタデータ） (2025-05-28T04:30:51Z)
• Distilling LLM Agent into Small Models with Retrieval and Code Tools [57.61747522001781]
  Agent Distillationは、推論能力とタスク解決の振る舞いを大きな言語モデルから小さな言語モデルに移行するためのフレームワークである。 その結果,SLMは0.5B,1.5B,3Bのパラメータで,次世代の1.5B,3B,7Bモデルと競合する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-23T08:20:15Z)
• Structured Agent Distillation for Large Language Model [56.38279355868093]
  本研究では,LLMをベースとした大規模エージェントを小さな学生モデルに圧縮するフレームワークであるStructured Agent Distillationを提案する。 提案手法は, [REASON] と [ACT] にトラジェクトリを分割し, 各コンポーネントを教師の行動に合わせるためにセグメント特異的な損失を適用した。 ALFWorld、HotPotQA-ReAct、WebShopの実験は、我々のアプローチがトークンレベルと模倣学習のベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2025-05-20T02:01:55Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• LLMQuoter: Enhancing RAG Capabilities Through Efficient Quote Extraction From Large Contexts [2.685668802278156]
  LLMQuoterは、レトリーバル拡張生成(RAG)を強化するために設計された軽量蒸留モデルである。 LLaMA-3Bアーキテクチャをベースとして、HotpotQAの15,000サンプルのサブセット上にLoRA(Lo-Rank Adaptation)を微調整し、LLMQuoterは"quote-first-then-answer"戦略を採用し、キュレートされたスニペットを推論モデルに渡す前に重要な引用を効率的に識別する。 このワークフローは認知的オーバーヘッドを減らし、Retrieval-Augmented Fine-Tuning (RAFT)のようなフルコンテキストアプローチを上回り、小言語と大言語の両方で20ポイント以上の精度向上を達成する。
  論文  参考訳（メタデータ） (2025-01-09T20:01:15Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。