論文の概要: Lucy: edgerunning agentic web search on mobile with machine generated task vectors
- arxiv url: http://arxiv.org/abs/2508.00360v1
- Date: Fri, 01 Aug 2025 06:45:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-04 18:08:53.762114
- Title: Lucy: edgerunning agentic web search on mobile with machine generated task vectors
- Title（参考訳）: Lucy: マシン生成タスクベクトルを用いたモバイル上のエッジランニングエージェントWeb検索
- Authors: Alan Dao, Dinh Bach Vu, Alex Nguyen, Norapat Buppodom,
- Abstract要約: 小言語モデル(SLM)は、その制約された能力のため、本質的に知識集約的なタスクに限られている。
本稿では,モデルの内部推論を動的タスクベクトルマシンとして,思考と思考のタグで見る,という新しいパラダイムを提案する。
このことは、構造化された自己構築されたタスク推論を備えた場合、小さなモデルが大きなモデルと競合できることを示している。
- 参考スコア（独自算出の注目度）: 0.20249250133493193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Small language models (SLMs) are inherently limited in knowledge-intensive tasks due to their constrained capacity. While test-time computation offers a path to enhanced performance, most approaches treat reasoning as a fixed or heuristic process. In this work, we propose a new paradigm: viewing the model's internal reasoning, delimited by <think> and </think> tags, as a dynamic task vector machine. Rather than treating the content inside these tags as a mere trace of thought, we interpret the generation process itself as a mechanism through which the model \textbf{constructs and refines its own task vectors} on the fly. We developed a method to optimize this dynamic task vector machine through RLVR and successfully trained an agentic web-search model. We present Lucy, a 1.7B-parameter SLM that leverages this dynamic reasoning mechanism with MCP integration to achieve 78.3% accuracy on the SimpleQA benchmark, performing on par with much larger models such as DeepSeek-V3. This demonstrates that small models can rival large ones when equipped with structured, self-constructed task reasoning.
- Abstract（参考訳）: スモール言語モデル(SLM)は、その制約された能力のため、本質的に知識集約的なタスクに限られている。
テスト時間計算はパフォーマンス向上への道筋を提供するが、ほとんどのアプローチは推論を固定的あるいはヒューリスティックなプロセスとして扱う。
本稿では,モデルの内部推論を動的タスクベクトルマシンとして,<think> と </think> タグで区切られた形で見る,という新しいパラダイムを提案する。
これらのタグ内の内容を単なる思考の痕跡として扱うのではなく、生成プロセス自体をモデルであるtextbf{constructs が自身のタスクベクトルをオンザフライで洗練するメカニズムとして解釈する。
我々は、RLVRを通してこの動的タスクベクトルマシンを最適化する手法を開発し、エージェントWeb検索モデルをうまく訓練した。
我々は、この動的推論機構とMPPの統合を活用して、SimpleQAベンチマークで78.3%の精度を実現した1.7BパラメータのSLMであるLucyを、DeepSeek-V3のようなはるかに大きなモデルと同等に動作させる。
このことは、構造化された自己構築されたタスク推論を備えた場合、小さなモデルが大きなモデルと競合できることを示している。
関連論文リスト
- Route-and-Reason: Scaling Large Language Model Reasoning with Reinforced Model Router [9.580226379350737]
大規模言語モデルの問題解決能力を高めるためには,多段階推論が不可欠であることが証明されている。
しかし、多くの推論ステップは比較的単純であり、より効率的な小規模言語モデルで処理できる。
異種LLM間の協調推論を可能にする新しいフレームワークであるR2-Reasonerを提案する。
論文 参考訳（メタデータ） (2025-06-06T09:18:56Z) - LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。
Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。
Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
論文 参考訳（メタデータ） (2025-03-27T07:36:11Z) - Gatekeeper: Improving Model Cascades Through Confidence Tuning [42.1160183944637]
カスケード構成の小型モデルを校正するための新しい損失関数「ゲートキーパー」を導入する。
我々のアプローチは、より小さなモデルを微調整して、より大規模なモデルに複雑なタスクを遅延させながら、正しく実行できるタスクを確実に処理する。
論文 参考訳（メタデータ） (2025-02-26T17:29:08Z) - Instruction-Following Pruning for Large Language Models [58.329978053711024]
我々は、モデルに対する固定的なプルーニングマスクを決定する従来の静的プルーニングアプローチを超えて移動する。
本手法では,プルーニングマスクは入力依存型であり,ユーザ命令に記述された情報に基づいて動的に適応する。
我々の手法は「命令追従プルーニング」と呼ばれ、ユーザ命令を入力とし、与えられたタスクに対して最も関連性の高いモデルパラメータを動的に選択するスパースマスク予測器を導入している。
論文 参考訳（メタデータ） (2025-01-03T20:19:14Z) - Revisiting Weight Averaging for Model Merging [16.503826062785773]
モデルマージは、個別に調整されたモデルのパラメータを追加のトレーニングなしで組み合わせることで、マルチタスク学習者を構築することを目的としている。
ウェイト平均化は、ウェイト平均化自身を中心としたタスクベクトルを暗黙的に誘導する。
これらの中心となるタスクベクトルに低ランク近似を適用することにより、マージ性能が大幅に向上する。
論文 参考訳（メタデータ） (2024-12-11T06:29:20Z) - Enhancing Video-LLM Reasoning via Agent-of-Thoughts Distillation [32.930999188946345]
本稿では,ビデオ質問応答(VideoQA)の課題に取り組む。
大規模なビデオ言語モデルはベンチマークでよく機能するが、説明可能性や時空間の接地性が欠けていることが多い。
本稿では,自動生成したCoTを命令調整プロセスに組み込むことで,モデルを強化する手法であるAoTDを提案する。
論文 参考訳（メタデータ） (2024-12-02T16:37:50Z) - Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
モデルマージのための適応重み分散法を提案する。
余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
論文 参考訳（メタデータ） (2024-11-27T20:08:55Z) - Sports-Traj: A Unified Trajectory Generation Model for Multi-Agent Movement in Sports [53.637837706712794]
任意の軌道をマスク入力として処理する統一軌道生成モデルUniTrajを提案する。
具体的には,空間特徴抽出のためのトランスフォーマーエンコーダ内に埋め込まれたゴースト空間マスキング(GSM)モジュールを紹介する。
バスケットボールU,サッカーU,サッカーUの3つの実践的スポーツデータセットをベンチマークして評価を行った。
論文 参考訳（メタデータ） (2024-05-27T22:15:23Z) - Trajeglish: Traffic Modeling as Next-Token Prediction [67.28197954427638]
自動運転開発における長年の課題は、記録された運転ログからシードされた動的運転シナリオをシミュレートすることだ。
車両、歩行者、サイクリストが運転シナリオでどのように相互作用するかをモデル化するために、離散シーケンスモデリングのツールを適用します。
我々のモデルはSim Agents Benchmarkを上回り、リアリズムメタメトリックの先行作業の3.3%、インタラクションメトリックの9.9%を上回ります。
論文 参考訳（メタデータ） (2023-12-07T18:53:27Z) - TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。
具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。
提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
論文 参考訳（メタデータ） (2023-11-30T18:02:44Z) - Efficient Adaptive Human-Object Interaction Detection with
Concept-guided Memory [64.11870454160614]
概念誘導メモリ(ADA-CM)を用いた適応型HOI検出器を提案する。
ADA-CMには2つの操作モードがある。最初のモードでは、トレーニング不要のパラダイムで新しいパラメータを学習することなくチューニングできる。
提案手法は, HICO-DET と V-COCO のデータセットに対して, より少ないトレーニング時間で, 最新技術による競合的な結果を得る。
論文 参考訳（メタデータ） (2023-09-07T13:10:06Z) - Language Models Implement Simple Word2Vec-style Vector Arithmetic [32.2976613483151]
言語モデル(LM)に対する主要な批判は、その調査性である。
本稿では,その大きさと複雑さにもかかわらず,LMは単純なベクトル演算方式を用いて,いくつかのリレーショナルタスクを解くことの証拠を提示する。
論文 参考訳（メタデータ） (2023-05-25T15:04:01Z) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。
我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
論文 参考訳（メタデータ） (2020-05-22T21:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。