論文の概要: Structure-R1: Dynamically Leveraging Structural Knowledge in LLM Reasoning through Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2510.15191v1
- Date: Thu, 16 Oct 2025 23:19:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-20 20:17:34.414196
- Title: Structure-R1: Dynamically Leveraging Structural Knowledge in LLM Reasoning through Reinforcement Learning
- Title（参考訳）: 構造R1:強化学習によるLLM推論における構造知識の動的活用
- Authors: Junlin Wu, Xianrui Zhong, Jiashuo Sun, Bolian Li, Bowen Jin, Jiawei Han, Qingkai Zeng,
- Abstract要約: 本稿では,検索したコンテンツを推論に最適化した構造化表現に変換するフレームワークであるtextscStructure-R1を提案する。
textscStructure-R1は、7Bスケールのバックボーンモデルとの競合性能を一貫して達成していることを示す。
我々の理論的分析は,情報密度と文脈的明瞭度を向上させることによって,構造化表現が推論をいかに促進するかを示す。
- 参考スコア（独自算出の注目度）: 29.722512436773638
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated remarkable advances in reasoning capabilities. However, their performance remains constrained by limited access to explicit and structured domain knowledge. Retrieval-Augmented Generation (RAG) addresses this by incorporating external information as context to augment reasoning. Nevertheless, traditional RAG systems typically operate over unstructured and fragmented text, resulting in low information density and suboptimal reasoning. To overcome these limitations, we propose \textsc{Structure-R1}, a novel framework that transforms retrieved content into structured representations optimized for reasoning. Leveraging reinforcement learning, \textsc{Structure-R1} learns a content representation policy that dynamically generates and adapts structural formats based on the demands of multi-step reasoning. Unlike prior methods that rely on fixed schemas, our approach adopts a generative paradigm capable of producing task-specific structures tailored to individual queries. To ensure the quality and reliability of these representations, we introduce a self-reward structural verification mechanism that checks whether the generated structures are both correct and self-contained. Extensive experiments on seven knowledge-intensive benchmarks show that \textsc{Structure-R1} consistently achieves competitive performance with a 7B-scale backbone model and matches the performance of much larger models. Additionally, our theoretical analysis demonstrates how structured representations enhance reasoning by improving information density and contextual clarity. Our code and data are available at: https://github.com/jlwu002/sr1.
- Abstract（参考訳）: 大規模言語モデル(LLM)は推論能力に顕著な進歩を見せている。
しかし、それらのパフォーマンスは、明示的で構造化されたドメイン知識への限られたアクセスによって制限され続けている。
Retrieval-Augmented Generation (RAG) では、外部情報をコンテキストとして組み込んで拡張推論を行う。
しかしながら、従来のRAGシステムは、通常、構造化されていない、断片化されたテキスト上で動作し、情報密度が低く、最適でない推論をもたらす。
これらの制約を克服するために,検索したコンテンツを推論に最適化した構造化表現に変換する新しいフレームワークである「textsc{Structure-R1}」を提案する。
強化学習を活用して、多段階推論の要求に基づいて動的に構造形式を生成・適応するコンテンツ表現ポリシーを学習する。
固定スキーマに依存する従来の手法とは異なり、我々の手法は個々のクエリに合わせたタスク固有の構造を生成することができる生成パラダイムを採用する。
これらの表現の質と信頼性を確保するため、生成した構造が正しいか、自己完結しているかをチェックする自己回帰型構造検証機構を導入する。
7つの知識集約型ベンチマークの広範囲な実験により、7Bスケールのバックボーンモデルとの競争性能を一貫して達成し、はるかに大きなモデルの性能に匹敵することを示した。
さらに,情報密度と文脈的明瞭度を向上させることにより,構造化表現が推論をいかに促進するかを理論的に示す。
私たちのコードとデータは、https://github.com/jlwu002/sr1.comから入手可能です。
関連論文リスト
- Struc-EMB: The Potential of Structure-Aware Encoding in Language Embeddings [16.728984584960738]
本稿では,構造認識テキストの埋め込み生成のための新しいパラダイムを,体系的に導入し,評価する。
本稿では,逐次連結と並列キャッシングという2つのプロセス内手法について検討する。
並列キャッシングは、長い高信号のコンテキストに対してより効果的にスケールするが、気晴らしにはより敏感である。
論文 参考訳（メタデータ） (2025-10-09T19:45:54Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳（メタデータ） (2025-10-03T08:50:21Z) - Effects of structure on reasoning in instance-level Self-Discover [0.0]
本稿では、Self-Discoverフレームワークのインスタンスレベルの適応であるiSelf-Discoverを紹介し、それを用いて動的に生成された構造化推論と非構造化推論との比較を行う。
最先端のオープンソースモデルを用いた多種多様なベンチマークによる実証的評価は、非構造化推論に対する一貫した優位性を支持している。
論文 参考訳（メタデータ） (2025-07-04T07:28:42Z) - RAS: Retrieval-And-Structuring for Knowledge-Intensive LLM Generation [46.237206695937246]
本稿では,クエリ固有の知識グラフを動的に構築するフレームワークであるRetrieval-And-Structuring (RAS)を提案する。
7つの知識集約ベンチマークでは、RASは一貫して強力なベースラインを上回っている。
この結果から,動的クエリ固有知識構造化は,言語モデル生成における推論精度と堅牢性を向上させるための堅牢な経路を提供することが示された。
論文 参考訳（メタデータ） (2025-02-16T05:01:49Z) - StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization [94.31508613367296]
Retrieval-augmented Generation(RAG)は、大規模言語モデル(LLM)を効果的に強化する鍵となる手段である。
本稿では,手前のタスクに対して最適な構造型を識別し,元の文書をこの構造化形式に再構成し,その結果に基づいて回答を推測するStructRAGを提案する。
実験の結果、StructRAGは最先端のパフォーマンスを実現し、特に挑戦的なシナリオに優れていた。
論文 参考訳（メタデータ） (2024-10-11T13:52:44Z) - Large Language Model-driven Meta-structure Discovery in Heterogeneous Information Network [29.149367323751413]
進化過程に推論を統合するメタ構造探索フレームワークReStructを提案する。
ReStructは推薦タスクとノード分類タスクの両方で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-02-18T09:21:12Z) - Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部の動作や推論メカニズムを理解することは大きな課題である。
本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。
我々は、GPTのような生成モデルがCFG定義階層を正確に学習し、推論し、それに基づいて文を生成することを実証する。
論文 参考訳（メタデータ） (2023-05-23T04:28:16Z) - StructGPT: A General Framework for Large Language Model to Reason over
Structured Data [117.13986738340027]
我々は,構造化データに基づく質問応答タスクの解法として,emphIterative Reading-then-Reasoning(IRR)アプローチを開発した。
提案手法はChatGPTの性能を大幅に向上させ,全データの教師付きベースラインに対して同等のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-05-16T17:45:23Z) - StrAE: Autoencoding for Pre-Trained Embeddings using Explicit Structure [5.2869308707704255]
StrAEは構造化オートエンコーダフレームワークであり、明示的な構造に厳格に固執することで、マルチレベル表現の効果的な学習を可能にする。
本研究の結果は,入力として提供される構造に直接的な関連性があることを示し,既存のツリーモデルではそうではないことを示す。
次に、StrAEを拡張して、単純なローカライズ・マージアルゴリズムを用いてモデルが独自の構成を定義する。
論文 参考訳（メタデータ） (2023-05-09T16:20:48Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳（メタデータ） (2023-05-06T03:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。