論文の概要: Graph-GRPO: Dependency-Aware Credit Assignment for Generative E-commerce Search Relevance

• arxiv url: http://arxiv.org/abs/2605.31003v1
• Date: Fri, 29 May 2026 08:36:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.477465
• Title: Graph-GRPO: Dependency-Aware Credit Assignment for Generative E-commerce Search Relevance
• Title（参考訳）: Graph-GRPO: ジェネレーティブEコマース検索関連のための依存性を意識したクレジットアサインメント
• Abstract要約: 関係推論のためのグラフ構造拡張であるグラフ-GRPOを提案する。 結果レベルの報酬をグラフ上で伝達し、段階レベルの信用信号を導出する。 また,エッジワイド・クレジット・プロパゲーション係数を適応的に調整する主損失駆動型制御器を導入する。
• 参考スコア（独自算出の注目度）: 7.682863634260091
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Search relevance modeling is a core task in e-commerce search systems, assessing how well a user query matches candidate products. Rather than relying on a single holistic matching signal, relevance judgment often requires structured reasoning over query understanding, product understanding, and facet-level matching. With large language models (LLMs), this process is increasingly formulated as chain-of-thought (CoT) reasoning and optimized with reinforcement learning (RL). However, existing RL methods mainly rely on outcome-level rewards and treat the entire reasoning chain as a single optimization unit. This makes it difficult to distinguish faulty reasoning steps from correct intermediate ones, leading to misaligned credit assignment. Although process-reward methods provide denser supervision, they often treat reasoning steps independently and ignore dependency-driven error propagation, making responsibility attribution difficult and limiting the optimization of structured relevance reasoning. We propose Graph-GRPO, a graph-structured extension of GRPO for multi-component relevance reasoning. Graph-GRPO constructs a relevance reasoning dependency graph, where CoT steps are modeled as nodes and their logical dependencies as edges. It propagates outcome-level rewards over the graph to derive step-level credit signals, enabling more accurate fine-grained credit assignment. We further introduce a main-loss-driven controller that adaptively adjusts edge-wise credit-propagation coefficients. Together with CoT random masking for supervised policy initialization and graph-node-based multi-head distillation, we build a trainable and deployable framework for generative relevance modeling. Extensive offline evaluations and online A/B tests on a leading e-commerce platform demonstrate that the Graph-GRPO-based framework improves relevance classification metrics and key engagement metrics.
• Abstract（参考訳）: 検索関連性モデリングは、eコマース検索システムにおける中核的なタスクであり、ユーザクエリが候補製品とどの程度うまく一致しているかを評価する。 関連判断は、単一の全体論的マッチング信号に頼るのではなく、クエリ理解、製品理解、ファセットレベルのマッチングよりも構造化された推論を必要とすることが多い。 大規模言語モデル(LLM)では、このプロセスは次第にチェーン・オブ・シント(CoT)推論として定式化され、強化学習(RL)で最適化される。 しかし、既存のRL法は主に結果レベルの報酬に依存し、推論チェーン全体を単一の最適化単位として扱う。 これにより、誤った推論ステップを正しい中間ステップと区別することが難しくなり、不整合な信用代入につながる。 プロセス・リワード法はより厳密な監視を提供するが、しばしば推論ステップを独立に扱い、依存性駆動型エラー伝達を無視し、責任帰属を難しくし、構造的関連推論の最適化を制限する。 マルチコンポーネント関連推論のためのグラフ構造拡張であるGraph-GRPOを提案する。 Graph-GRPOは関連推論依存グラフを構築し、CoTステップはノードとしてモデル化され、論理的依存関係はエッジとしてモデル化される。 グラフ上で結果レベルの報酬を伝搬し、ステップレベルのクレジットシグナルを導出し、より正確なきめ細かいクレジット割り当てを可能にする。 さらに、エッジワイドのクレジットプロパゲーション係数を適応的に調整する主損失駆動型コントローラを導入する。 教師付きポリシの初期化とグラフノードによるマルチヘッド蒸留のためのCoTランダムマスキングとともに、我々は、生成関連モデリングのためのトレーニング可能でデプロイ可能なフレームワークを構築した。 主要なeコマースプラットフォーム上での大規模なオフライン評価とオンラインA/Bテストは、Graph-GRPOベースのフレームワークが関連性分類メトリクスと主要なエンゲージメントメトリクスを改善していることを示している。

関連論文リスト

• Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry [105.89493240787861]
  推論中に露出したセマンティックユニットは、学習が代替品と比較し、クレジットを割り当てる場所を定義する。 我々は,この原理を,ライン順応可能な実行可能コードとして視覚的関係を表すCode-CoTでインスタンス化し,推論を型付きイベントに整理する。 9つの幾何ベンチマークで、CE-GRPOは平均76.04の精度を達成し、Qwen3-VL-8Bと軌跡レベルGRPOをそれぞれ8.09$と3.43ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-31T08:44:36Z)
• Agentic Planning with Reasoning for Image Styling via Offline RL [66.10749901925941]
  直接的なプロンプトベースの編集は複雑な変換では失敗するが、なぜなら曖昧で主観的なプロンプトは、画像に何を変更するべきかを微妙に理解する必要がしばしばあるからである。 ツールベースのエージェントRLポストトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-07T11:14:37Z)
• Graph-GRPO: Stabilizing Multi-Agent Topology Learning via Group Relative Policy Optimization [7.961090665261694]
  グループ相対政策最適化を統合した新しいトポロジ最適化フレームワークであるGraph-GRPOを提案する。 サンプル群全体にわたる報酬の正規化により,タスク難易度の違いによるノイズを効果的に軽減し,きめ細かなクレジット割り当てを可能にする。
  論文  参考訳（メタデータ） (2026-03-03T07:45:40Z)
• From Flat to Structural: Enhancing Automated Short Answer Grading with GraphRAG [8.449978933501965]
  本稿では,参照資料を構造化知識グラフに整理するグラフ検索拡張生成(GraphRAG)フレームワークを提案する。 提案手法では,高忠実度グラフ構築のためのMicrosoft GraphRAGとHippoRAGニューロシンボリックアルゴリズムの2相パイプラインを用いる。
  論文  参考訳（メタデータ） (2026-02-28T04:44:06Z)
• ProGraph-R1: Progress-aware Reinforcement Learning for Graph Retrieval Augmented Generation [37.11787010202267]
  ProGraph-R1は,グラフベースの検索と多段階推論のためのプログレッシブ・エージェント・フレームワークである。 ProGraph-R1は、意味的関連性とグラフ接続性について共同で検討する構造対応のハイパーグラフ検索機構を導入している。 マルチホップ質問応答ベンチマークの実験では、ProGraph-R1は既存のGraphRAG法よりも推論精度と生成品質を一貫して改善している。
  論文  参考訳（メタデータ） (2026-01-25T08:58:44Z)
• Graph Reasoning Paradigm: Structured and Symbolic Reasoning with Topology-Aware Reinforcement Learning for Large Language Models [45.28250076657801]
  Long Chain-of-Thought (LCoT) は,Large Language Models (LLM) の推論能力の向上に有効であることが証明されている。 RLVRベースの最適化にもかかわらず、既存の手法はいまだに粗大な監督、報酬のハッキング、高いトレーニングコスト、一般化の欠如に悩まされている。 ステップレベルの認知ラベルを持つグラフ構造化表現を用いて,構造化および記号的推論を実現するグラフ推論パラダイム(GRP)を提案する。
  論文  参考訳（メタデータ） (2026-01-19T12:23:00Z)
• TreePS-RAG: Tree-based Process Supervision for Reinforcement Learning in Agentic RAG [71.06073770344732]
  エージェント検索強化生成(RAG)は、推論と情報検索の多段階的な相互作用として質問応答を定式化する。 エージェントRAGのためのオンラインツリーベースRLフレームワークであるTreePS-RAGについて述べる。
  論文  参考訳（メタデータ） (2026-01-11T14:07:30Z)
• RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning [69.87510139069218]
  Retrieval-Augmented Generation (RAG)は、非パラメトリック知識をLarge Language Models (LLM)に統合する 強化学習(RL)による多ターン推論へのテキストベースRAGの進歩 LLMがマルチターンおよび適応的なグラフテキストハイブリッドRAGを実現するためのRLベースのフレームワークであるモデルを導入する。
  論文  参考訳（メタデータ） (2025-12-10T10:05:31Z)
• TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
  TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。 報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
  論文  参考訳（メタデータ） (2025-11-07T16:08:34Z)
• G-reasoner: Foundation Models for Unified Reasoning over Graph-structured Knowledge [88.82814893945077]
  大規模言語モデル(LLM)は複雑な推論において優れているが、静的かつ不完全なパラメトリック知識によって制限される。 最近のグラフ強化RAG (GraphRAG) は、このギャップを補足したグラフを構築し、LLMがそれらを推論できるようにする。 G-reasonerは、様々なグラフ構造化知識を推論するためにグラフと言語基盤モデルを統合した統合フレームワークである。
  論文  参考訳（メタデータ） (2025-09-29T04:38:12Z)
• GRIL: Knowledge Graph Retrieval-Integrated Learning with Large Language Models [59.72897499248909]
  本稿では,Large Language Models (LLM) を用いたエンドツーエンド学習のための新しいグラフ検索手法を提案する。 抽出したサブグラフでは, 構造的知識と意味的特徴をそれぞれ軟式トークンと言語化グラフで符号化し, LLMに注入する。 提案手法は、複雑な推論タスクに対する結合グラフ-LLM最適化の強みを検証し、最先端の性能を一貫して達成する。
  論文  参考訳（メタデータ） (2025-09-20T02:38:00Z)
• You Don't Need Pre-built Graphs for RAG: Retrieval Augmented Generation with Adaptive Reasoning Structures [16.867592142212203]
  大型言語モデル(LLM)はしばしば幻覚に悩まされ、知識を超えた質問を処理する際に、事実的に誤った文を生成する。 Retrieval-augmented Generation (RAG)は、LLM推論をサポートするために、知識ベースからクエリ関連コンテキストを取得することで、この問題に対処する。 既存のGraphベースのRAGメソッドは、コーパスをグラフに変換するためのコストの高いプロセスに依存しており、圧倒的なトークンコストとアップデートのレイテンシを導入している。 本稿では,推論時に推論構造を動的に抽出し,事前に構築したグラフを使わずに適応検索を誘導するLogicRAGを提案する。
  論文  参考訳（メタデータ） (2025-08-08T08:07:40Z)
• Adaptive Graph of Thoughts: Test-Time Adaptive Reasoning Unifying Chain, Tree, and Graph Structures [0.0]
  本稿では,動的グラフベースの推論フレームワークであるAdaptive Graph of Thoughts (AGoT)を紹介する。 AGoTはテスト時間のみでのLarge Language Models (LLM)推論を強化する。 マルチホップ検索,科学的推論,数学的問題解決にまたがる多様なベンチマークに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2025-02-07T16:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。