論文の概要: Behavior Quotient Learning for Low-Rank Adaptation of LLM Agents
- arxiv url: http://arxiv.org/abs/2609.12896v1
- Date: Fri, 11 Sep 2026 14:23:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.77334
- Title: Behavior Quotient Learning for Low-Rank Adaptation of LLM Agents
- Title（参考訳）: LLMエージェントの低ランク適応のための行動クオリティ学習
- Abstract要約: LLMベースのエージェントは複雑なタスクを達成するために異種相互作用能力に依存する。
既存のアプローチでは、これらの機能を複数のLoRAアダプタに分散することが多い。
1つのLoRAはこのオーバーヘッドを避けるが、一定のランクの予算の下で多様なエージェントの軌跡から学ぶことは2つの課題を提示している。
局所挙動商多様体による軌道更新を整理する低ランク適応フレームワークであるBQ-LoRAを提案する。
- 参考スコア（独自算出の注目度）: 6.356544634679287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-based agents rely on heterogeneous interaction capabilities to accomplish complex tasks. Existing approaches often distribute these capabilities across multiple LoRA adapters, which increases adapter storage requirements and introduces routing overhead during inference. A single LoRA avoids this overhead, but learning from diverse agent trajectories under a fixed rank budget presents two challenges. First, trajectories with different interaction traces and parameter gradients can induce equivalent changes in decision distributions, causing repeated updates to overemphasize redundant behavioral changes. Second, an aggregated update may exceed the rank budget of the adapter, and approximating it in weight space can distort the decision changes that it is intended to produce. We propose BQ-LoRA, a low-rank adaptation framework that organizes trajectory updates through a local behavior quotient manifold. It contains two modules, i.e., behavior quotient balancing (BQB) and decision preserving compression (DPC). BQB constructs the quotient manifold from decision distributions and reweights trajectory update directions according to their local density in the quotient tangent space. DPC projects the balanced gradient onto the intrinsic fixed rank tangent space and refactorizes the resulting target by jointly controlling effective weight error and distortion of decision distributions. Experiments on AppWorld and BrowseComp-Plus compare BQ-LoRA with standard LoRA and recent low-rank adaptation methods, while separate ablations evaluate the complementary contributions of both components.
- Abstract（参考訳）: LLMベースのエージェントは複雑なタスクを達成するために異種相互作用能力に依存する。
既存のアプローチでは、これらの機能を複数のLoRAアダプタに分散することが多い。
1つのLoRAはこのオーバーヘッドを避けるが、一定のランクの予算の下で多様なエージェントの軌跡から学ぶことは2つの課題を提示している。
まず、異なる相互作用トレースとパラメータ勾配を持つトラジェクトリは、決定分布の等価な変化を誘発し、繰り返し更新することで冗長な振る舞いの変化を過度に強調する。
第2に、集約された更新はアダプタのランク予算を超過し、それを重量空間で近似することで、生成する意図する決定変更を歪ませることができる。
局所挙動商多様体による軌道更新を整理する低ランク適応フレームワークであるBQ-LoRAを提案する。
動作商バランス(BQB)と決定保存圧縮(DPC)の2つのモジュールを含んでいる。
BQB は商接空間の局所密度に応じて決定分布と軌跡更新方向から商多様体を構成する。
DPCは、バランスの取れた勾配を本質的な定位接点空間に投影し、有効重量誤差と決定分布の歪みを共同制御することにより、結果の目標をリファクタリングする。
AppWorldとBrowseComp-Plusの実験では、BQ-LoRAを標準のLoRAや最近のローランク適応法と比較し、別々のアブレーションは両方のコンポーネントの補完的貢献を評価する。
関連論文リスト
- Granularity-Adaptive Credit Assignment for Long-Horizon LLM Agent Reinforcement Learning [7.885980895039013]
我々は、正しい解決法は国家に依存していると論じ、不確実性に基づく臨界性プロキシに従って粒度が続く批判のない推定器であるGACAを提案する。
GACAは、自己のロールアウトがすでに記録している負のログライクな記録によって各ステップをスコアし、そのスコアで成長するステップ毎の重みと2つのアドバンテージをブレンドする。
ALFWorldとWebShopでは、GACAはGRPOとGiGPOよりも1.5Bと7Bのスケールでタスクの成功を改善する。
論文 参考訳（メタデータ） (2026-09-11T04:19:44Z) - Geo-LoRA: Geometry-Aware Subspace Evolution for Low-Rank Adaptation in Continual Learning [0.304585143845864]
Geo-LoRAは、連続学習中に低ランクのサブスペースがどのように進化するかを制御する幾何学的なフレームワークである。
Geo-LoRAは、連続的な低ランク適応のための原則的な幾何学的定式化を提供し、一貫して最先端の性能を達成する。
論文 参考訳（メタデータ） (2026-08-27T11:00:50Z) - Contrastive Branch Policy Optimization [16.16893757028268]
検証可能な報酬(RLVR)による強化学習は、言語モデルが外部ツールとのマルチターンインタラクションを学習することを可能にする。
既存の方法は、固定されたロールアウト予算を割り当て、分岐結果をトークンレベルのクレジットに変換する、という2つの異なる問題を分割する傾向があります。
本稿では,この2つの問題を解消し,それぞれに専用のメカニズムを割り当てる,コントラスト分岐政策最適化(CBPO)を紹介する。
論文 参考訳（メタデータ） (2026-08-25T09:25:55Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳（メタデータ） (2026-06-09T17:16:03Z) - DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。
DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。
6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
論文 参考訳（メタデータ） (2026-05-17T07:14:44Z) - IGU-LoRA: Adaptive Rank Allocation via Integrated Gradients and Uncertainty-Aware Scoring [9.250460219785188]
IGU-LoRAは、階層内統合勾配(IG)の感度を計算し、それらをランク割り当てのための階層レベルスコアに集約する適応ランクLoRAである。
IGU-LoRAは、一致したパラメータ予算でPEFTベースラインを一貫して上回り、下流の精度とロバスト性を改善している。
論文 参考訳（メタデータ） (2026-03-14T06:45:54Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳（メタデータ） (2026-03-02T10:38:54Z) - Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。
提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。
本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-03T15:32:09Z) - Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。
また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
論文 参考訳（メタデータ） (2026-02-02T21:33:03Z) - Learning to Coordinate: Distributed Meta-Trajectory Optimization Via Differentiable ADMM-DDP [4.880846795915428]
多様なタスクやエージェント構成に適応するために,L2C(Learning to Coordinate)を提案する。
L2CはADMM-DDPパイプラインを通じてエンドツーエンドを分散的に区別する。
最先端の手法よりも高速な勾配計算を実現する。
論文 参考訳（メタデータ） (2025-09-01T17:17:05Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。