論文の概要: Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration in Temporal Knowledge Graph Reasoning

• arxiv url: http://arxiv.org/abs/2607.14886v1
• Date: Thu, 16 Jul 2026 11:59:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.08816
• Title: Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration in Temporal Knowledge Graph Reasoning
• Title（参考訳）: 時間的知識グラフ推論における効率的な目標指向経路探索のための到達可能性を考慮した事前学習
• Abstract要約: RAPTORは、エージェントに到達性を考慮した誘導バイアスを注入する自己教師付き事前訓練法である。 ICEWS14、ICEWS05-15、ICEWS18データセットの実験結果は、RAPTOR事前トレーニングがトレーニング効率を大幅に改善することを示している。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal Knowledge Graph (TKG) reasoning under the extrapolation setting focuses on forecasting future time-stamped events (facts) from historical data in a temporal knowledge graph. Existing approaches, reinforcement learning (RL)-based multi-hop reasoning methods are prominent for TKG reasoning because they produce human-interpretable predictions via explicit multi-hop path tracing. However, during RL training, rewards are typically sparse, and exploration is highly inefficient due to the vast, time-evolving action space. These issues hinder efficient training and often limit overall performance. To address these challenges, we propose RAPTOR (Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration), a self-supervised pretraining method that injects a reachability-aware inductive bias to the agent. By learning to estimate the reachability of candidate actions to the target entity, RAPTOR reduces exploration over unpromising paths and provides a strong initialization for downstream RL fine-tuning. Experimental results on the ICEWS14, ICEWS05-15, and ICEWS18 datasets demonstrate that RAPTOR pretraining markedly improves the training efficiency and consistently outperforms conventional baselines, establishing it as an effective approach for enhancing RL-based multi-hop reasoning methods for TKG reasoning.
• Abstract（参考訳）: 補間条件下での時間的知識グラフ(TKG)の推論は、時間的知識グラフの歴史的データから将来の時間的なイベント(事象)を予測することに焦点を当てている。 既存のアプローチである強化学習(RL)に基づくマルチホップ推論手法は、明示的なマルチホップパストレースによって人間の解釈可能な予測を生成するため、TKG推論において顕著である。 しかし、RLトレーニングの間、報酬は概して希薄であり、巨大な時間進化する行動空間のため、探索は非常に非効率である。 これらの問題は、効率的なトレーニングを妨げ、全体的なパフォーマンスを制限します。 これらの課題に対処するために,エージェントに到達可能性を考慮した誘導バイアスを注入する自己教師付き事前学習法であるRAPTOR(Reachability-Aware Pretraining for Efficient Target-Oriented Path Exploration)を提案する。 RAPTORは、ターゲットエンティティへの候補アクションの到達可能性を推定することにより、未提案のパスに対する探索を減らし、下流RL微調整のための強力な初期化を提供する。 ICEWS14,ICEWS05-15,ICEWS18データセットの実験結果から,RAPTORプレトレーニングはトレーニング効率を著しく向上し,従来のベースラインを一貫して上回り,TKG推論のためのRLベースのマルチホップ推論手法の効果的なアプローチとして確立した。

関連論文リスト

• Data-dependent Exploration for Online Reinforcement Learning from Human Feedback [50.34161049551627]
  人的フィードバックからのオンライン強化学習(RLHF)は、トレーニング中に新たな嗜好フィードバックを継続的に収集することにより、大規模言語モデル(LLM)を整合させるための有望なパラダイムとして登場した。 既存の調査戦略は、しばしば政治上の期待を通じてボーナスを導き出すが、これは訓練中に利用できる限られた歴史的嗜好データから確実に見積もることが難しい。 高不確実性領域に対する余分な不確実性ボーナスを構築するために、履歴データを活用するシンプルでスケーラブルなデータ依存型選好最適化法(DEPO)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T03:56:45Z)
• SPS: Steering Probability Squeezing for Better Exploration in Reinforcement Learning for Large Language Models [51.99912169291891]
  強化学習(Reinforcement Learning, RL)は、推論指向モデルをトレーニングするための有望なパラダイムとして登場した。 逆強化学習(IRL)で従来のRLをインターリーブする学習パラダイムを提案する。 この結果から,RLとIRLの交互接続は,推論指向の大規模言語モデルの探索能力向上に有効な経路であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-18T13:49:47Z)
• Diversity or Precision? A Deep Dive into Next Token Prediction [19.30494719444709]
  本研究では,事前学習したトークン出力分布が,その後の強化学習の探索ポテンシャルをいかに形成するかを検討する。 精度指向の勾配を先行させると、RLのより優れた探索空間が得られることが分かる。
  論文  参考訳（メタデータ） (2025-12-28T14:53:24Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Learning to Reason as Action Abstractions with Scalable Mid-Training RL [55.24192942739207]
  効果的な中間訓練フェーズは、有用なアクションのコンパクトなセットを特定し、高速な選択を可能にする。 本稿では,スケーラブルなミッドトレーニングアルゴリズムであるReasoning as Action Abstractions (RA3)を提案する。
  論文  参考訳（メタデータ） (2025-09-30T05:34:20Z)
• Reinforcement Learning on Pre-Training Data [55.570379963147424]
  我々は,大規模言語モデル(LLM)を最適化するための新しい訓練時間スケーリングパラダイムである,事前学習データ(R)の強化学習を紹介する。 Rは、有意義な軌道を自律的に探索し、事前学習データから学び、強化学習(RL)を通してその能力を向上させる。 複数のモデルにわたる一般領域および数学的推論ベンチマークの広範な実験は、Rの有効性を検証した。
  論文  参考訳（メタデータ） (2025-09-23T17:10:40Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。