論文の概要: G$^3$-LoRA: Organizing Reward-Weighted Video Data with Gradient-Guided Grouped LoRA

• arxiv url: http://arxiv.org/abs/2609.35189v1
• Date: Mon, 28 Sep 2026 13:50:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 16:15:04.358368
• Title: G$^3$-LoRA: Organizing Reward-Weighted Video Data with Gradient-Guided Grouped LoRA
• Title（参考訳）: G$^3$-LoRA: Gradient-Guided Grouped LoRAによる逆重映像データの整理
• Abstract要約: G$3$-LoRA (Gradient-Guided Grouped LoRA) は、報酬重み付きビデオサンプルによって引き起こされるカテゴリレベルの勾配を調査するデータ組織手法である。 Wan2.1-T2V-1.3B-ディフューザでは、マージされたグループアダプタはベースモデルよりも一致したVBench2.0の評価を改善する。
• 参考スコア（独自算出の注目度）: 10.653162005300606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training foundation video models on heterogeneous reward-weighted data usually assume that all data categories induce compatible updates. This assumption is fragile when categories correspond to different skills, domains, or evaluation dimensions. We study this problem in text-to-video post-training, where VBench2.0 dimensions define data buckets and an external multimodal reward pipeline assigns sample weights. We propose G$^3$-LoRA (Gradient-Guided Grouped LoRA), a data organization procedure that probes category-level gradients induced by reward-weighted video samples, removes the shared global update direction, clusters categories by residual gradient compatibility, trains group-specific LoRA experts, and consolidates them into one adapter by weight merging followed by on-policy distillation from the experts. We motivate this procedure by viewing reward-weighted flow matching as velocity-field regression: incompatible reward dimensions may prefer different denoising directions in overlapping noisy latent regions, causing shared LoRA training to average capabilities. On Wan2.1-T2V-1.3B-Diffusers, the merged grouped adapter improves the matched VBench2.0 evaluation over the base model, a joint reward-weighted LoRA baseline, and random, semantic, and raw-gradient partitions trained with the same pipeline; an independent evaluator agrees, and on CogVideoX-2B grouping avoids the negative transfer of joint training. The gain is not uniform: merging compresses the largest specialist gains, distillation recovers part of this loss, and camera motion and several local-quality dimensions remain challenging. Together, these results suggest that gradient compatibility can serve as a practical diagnostic for organizing reward-weighted video post-training data.
• Abstract（参考訳）: ヘテロジニアス報酬重み付きデータのトレーニング後の基盤ビデオモデルは、通常、すべてのデータカテゴリが互換性のある更新を誘導すると仮定する。 この仮定は、カテゴリが異なるスキル、ドメイン、評価の次元に対応する場合、脆弱である。 VBench2.0次元がデータバケットを定義し、外部マルチモーダル報酬パイプラインがサンプル重量を割り当てる。 G$^3$-LoRA (Gradient-Guided Grouped LoRA) は,報奨重み付きビデオサンプルによって誘導されるカテゴリレベルの勾配を探索し,共有グローバル更新方向,残差勾配整合性によるクラスタカテゴリ,列車群固有のLORAエキスパートによるクラスタカテゴリを抽出し,重み付けにより1つのアダプタに集約するデータ組織手法である。 非互換な報酬次元は、重なり合う雑音のある潜在領域において異なる雑音の方向を好んでおり、共有LoRAトレーニングを平均的な能力で行うことができる。 Wan2.1-T2V-1.3B-Diffusersでは、合併したグループアダプタは、ベースモデル、共同報酬重み付きLORAベースライン、同じパイプラインで訓練されたランダム、セマンティック、生の段階的なパーティションに対するVBench2.0の評価を改善する。 圧縮は最大の専門的利得を圧縮し、蒸留はこの損失の一部を回収し、カメラの動きといくつかの地域品質の寸法は依然として困難である。 これらの結果から,差分整合性は報奨重み付きビデオ後トレーニングデータの整理に有効であることが示唆された。

関連論文リスト

• Diffusion Reward Models [55.39471469659477]
  DRMはDiffusion Reward Modelで、$p(mathbfrmid x,y)$以上の条件密度推定として報酬モデルを再キャストする。 単一のアーキテクチャは、多属性回帰とペアワイズ選好データの両方を処理し、$N$サンプルでの推論は、スカラー、分散、量子化に集約できる経験的な報酬分布を形成する。 5つのベンチマークで、DRMは一致したデータとバックボーンの下でベースラインにマッチまたはオーバーし、より大きな差別的、分布的、生成的RMと競争し続け、従来のヘッドを持つマルチモーダル報酬構造を回復する。
  論文  参考訳（メタデータ） (2026-09-27T17:57:14Z)
• Behavior Quotient Learning for Low-Rank Adaptation of LLM Agents [6.356544634679287]
  LLMベースのエージェントは複雑なタスクを達成するために異種相互作用能力に依存する。 既存のアプローチでは、これらの機能を複数のLoRAアダプタに分散することが多い。 1つのLoRAはこのオーバーヘッドを避けるが、一定のランクの予算の下で多様なエージェントの軌跡から学ぶことは2つの課題を提示している。 局所挙動商多様体による軌道更新を整理する低ランク適応フレームワークであるBQ-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-09-11T14:23:43Z)
• SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks [15.20977008792474]
  SeFoRAはスケッチ集約型LoRAアルゴリズムであり、各クライアントはそのローカル更新の線形スケッチを送信する。 SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。 一階定常点の近傍への収束を、階数同次設定に対して$cO(1/T)$で証明する。
  論文  参考訳（メタデータ） (2026-08-10T18:59:25Z)
• The Reward Was in Your Data All Along: Correcting Flow Matching with Discriminator-Guided RL [19.556118547263928]
  識別器誘導RL(DRL)は、事前訓練された表現空間内のベースモデルサンプルからデータを分離するために識別器を訓練する。 ガイダンスのないFID(例:SiTで9.38ドルから2.62ドル)と意味空間FD(例:SiTでDINOv3で8.2ドルから19.3ドル)を減らす。 また、後続の嗜好ベースのポストトレーニングでは、好みの報酬とイメージの忠実度の間のフロンティアも向上する。
  論文  参考訳（メタデータ） (2026-06-17T15:01:33Z)
• ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
  LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。 この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T06:58:54Z)
• MMR1: Enhancing Multimodal Reasoning with Variance-Aware Sampling and Open Resources [113.33902847941941]
  VAS (Variance-Aware Sampling) は、Variance Promotion Score (VPS) によって導かれるデータ選択戦略である。 我々は、1.6MのCoT冷間開始データと15kのRLQAペアを含む大規模かつ慎重にキュレートされたリソースをリリースする。 数学的推論ベンチマークによる実験では、キュレートされたデータと提案されたVASの有効性が示されている。
  論文  参考訳（メタデータ） (2025-09-25T14:58:29Z)
• Dual-Stage Reweighted MoE for Long-Tailed Egocentric Mistake Detection [85.0189917888094]
  本稿では,微妙で頻繁なミスによって生じる課題に対処するため,Dual-Stage Reweighted Mixture-of-Experts (DR-MoE) フレームワークを提案する。 提案手法は,特に稀かつ曖昧な誤りの特定において,高い性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T12:00:42Z)
• LoRAtorio: An intrinsic approach to LoRA Skill Composition [11.429106388558925]
  Low-Rank Adaptation (LoRA) はテキスト・画像拡散モデルにおいて広く採用されている手法である。 既存のアプローチでは、複数のLoRAアダプタを効果的に構成するのに苦労している。 ロラトリオ(Loratorio)は、マルチロラ合成のための新しいフリートレインフレームワークである。
  論文  参考訳（メタデータ） (2025-08-15T17:52:56Z)
• Dual Compensation Residual Networks for Class Imbalanced Learning [98.35401757647749]
  そこで本研究では,尾と頭の両方に適合する2次元補償残差ネットワークを提案する。 オーバーフィッティングを引き起こす重要な要因は、トレーニングとテールクラスのテストデータの間に深刻な特徴ドリフトがあることである。 また,不適合問題を軽減するためにResidual Balanced Multi-Proxies分類器を提案する。
  論文  参考訳（メタデータ） (2023-08-25T04:06:30Z)
• Balanced Classification: A Unified Framework for Long-Tailed Object Detection [74.94216414011326]
  従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。 本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。 BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-08-04T09:11:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。