Fugu-MT 論文翻訳(概要): HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning

論文の概要: HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning

arxiv url: http://arxiv.org/abs/2608.01597v1
Date: Mon, 03 Aug 2026 02:06:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-04 15:07:25.296629
Title: HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning
Title（参考訳）: HindSearch: 検索強化強化学習のための軌道レベルハイドサイト批判
Abstract要約: HindSearch は GRPO の自己蒸留法である。各ロールアウトの後、凍結した裁判官は金の答えを使って失敗した全ての軌道の短い批評を書く。 HindSearchは平均で39.4%に達し、検索-RLベースラインを上回っている。
参考スコア（独自算出の注目度）: 30.506513032755677
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Search-augmented LM agents are typically trained with a binary exact-match reward, which throws away most of what a failed trajectory tells us about why it failed. We introduce HindSearch, a hindsight self-distillation procedure for GRPO: after each rollout, a frozen judge writes a short critique of every failed trajectory using the gold answer, and the critique supplies an auxiliary on-policy distillation signal on the student's search actions. On the standard seven-benchmark suite with Qwen2.5-3B-Instruct, HindSearch reaches 39.4% average EM, outperforming prior search-RL baselines. Removing the judge's access to the gold answer erases most of the gain, isolating hindsight as the source of the improvement.
Abstract（参考訳）: 検索強化されたLMエージェントは、通常、バイナリの正確なマッチ報酬で訓練される。我々は,GRPO の自己蒸留法である HindSearch を紹介した。各ロールアウトの後に,凍結した裁判官が金の解答を用いてすべての障害軌跡の短い批評を書き,学生の検索行動に補助的なオンライン蒸留信号を提供する。 Qwen2.5-3B-Instructの標準7ベンチマークスイートでは、HindSearchは平均39.4%のEMに達し、検索-RLベースラインを上回っている。金の答えに対する裁判官のアクセスを取り除くと、利益のほとんどを消し、改善の源として後見を孤立させる。

関連論文リスト

CAFE: Self-Improving Search Agents Need Co-Evolving Feedback [64.5257526832476]
アウトカム管理された検索エージェントは、いつ、どのように証拠を回収するかを学習するが、端末の報酬は中間エラーのローカライズも、それらのエラーが複雑になる前に継続する軌道のリダイレクトもしない。学習した軌道内での介入として修正的フィードバックを扱うことは、エージェントがいつフィードバックを要求し使用するかを決めなければならないのに対し、批評家は、エージェントが改善するにつれて障害パターンが変化する結果構築されたロールアウトから有用な修正を推測しなければならない。
論文参考訳（メタデータ） (2026-08-25T16:39:00Z)
ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。 ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
論文参考訳（メタデータ） (2026-08-05T17:41:31Z)
SearchAuditor: Auditing and Attributing Failures in Long-Horizon Search Agents [56.400332595452966]
我々は、監査人が検索エージェントの障害をローカライズ、属性付け、修復できるかどうかを評価するベンチマークであるSearchAuditBenchを紹介する。 SearchAuditBenchは1,243の障害トラックで構成され、平均73.1メッセージと65.1Kトークンを5つのディープサーチベンチマークで8つのオープンウェイトモデルから収集している。本稿では,検索エージェントの障害を効果的にローカライズ,属性,修復するマルチパースペクティブ監査フレームワークであるSearchAuditorを提案する。
論文参考訳（メタデータ） (2026-08-05T09:09:00Z)
SearchMaster: Grounded and Regulated Self-Play for Search Agents [57.537666863340284]
検索エージェントの訓練には高品質な検索データが必要である。既存のパイプラインは、人手によるタスクや専門家によるデモンストレーション、より強力な教師モデルに依存していることが多い。本稿では,ローカル検索環境における検索タスクから,単一のLLMをトレーニングするセルフプレイフレームワークであるSearchMasterを提案する。
論文参考訳（メタデータ） (2026-08-03T07:29:11Z)
HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning [14.484579581234327]
マルチホップ検索における拒絶の最初のベンチマークであるHopRefusalBenchを紹介する。根、中、終端位相の3つの解答不可能な原因を横切る。本稿では,目標認識の拒絶,疑似拒絶,幻覚的完了,探索予算の枯渇にまたがる最終アウトカム分類を提案する。
論文参考訳（メタデータ） (2026-08-02T16:20:55Z)
HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
論文参考訳（メタデータ） (2026-06-10T01:35:34Z)
ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。 ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文参考訳（メタデータ） (2026-06-02T06:58:54Z)
IG-Search: Step-Level Information Gain Rewards for Search-Augmented Reasoning [8.584560411480647]
我々は、情報ゲイン(IG)に基づくステップレベルの報酬を導入する強化学習フレームワークIG-Searchを提案する。検索ステップ毎に、IGは、検索した文書が、ランダム文書の反実的ベースラインに対して、ゴールド回答に対するモデルの信頼性をどれだけ向上するかを測定する。実験の結果、IG-SearchはQwen2.5-3Bで平均0.430のEMを達成し、最も高い軌道レベルのベースライン(MR-Search)を1.6ポイント上回った。
論文参考訳（メタデータ） (2026-04-16T15:22:47Z)
Cycle-Consistent Search: Question Reconstructability as a Proxy Reward for Search Agent Training [80.20022221643414]
Cycle-Consistent Searchは、検索エージェントを訓練するための金色のスーパービジョンのないフレームワークである。 CCSは教師付きベースラインに匹敵する性能を示す。これらの結果から,CCSは金の監督が不可能な環境で検索エージェントを訓練するためのスケーラブルな訓練パラダイムを提供する可能性が示唆された。
論文参考訳（メタデータ） (2026-04-14T17:00:18Z)
SE-Search: Self-Evolving Search Agent via Memory and Dense Reward [87.79131676521656]
Retrieval augmented generation (RAG)は、検索した外部知識を条件づけることにより、大規模言語モデル(LLM)における幻覚や事実エラーを低減する。既存の手法は、無関係または騒々しい文書を蓄積し、希少な強化学習信号に依存することが多い。我々は,3つのコンポーネントによるオンライン検索行動を改善するセルフ進化検索エージェントであるtextbfSelf-textbfEvolving textbfSearchを提案する。
論文参考訳（メタデータ） (2026-02-06T09:14:07Z)
CriticSearch: Fine-Grained Credit Assignment for Search Agents via a Retrospective Critic [24.371889836599138]
CriticSearchは詳細なクレジット割り当てフレームワークで、振り返りの批判メカニズムを通じて、密集したターンレベルのフィードバックを提供する。様々なマルチホップ推論ベンチマークの実験結果は、CriticSearchが既存のベースラインを一貫して上回っていることを示している。
論文参考訳（メタデータ） (2025-11-15T11:06:57Z)
Beyond Outcome Reward: Decoupling Search and Answering Improves LLM Agents [19.31471304268234]
DeSA(Decoupling Search-and-Answering)は,検索最適化と回答生成を明確に分離する単純な2段階トレーニングフレームワークである。 7つのQAベンチマークで、DeSAがトレーニングしたエージェントは検索の振る舞いを継続的に改善し、結果のみのベースラインよりも検索リコールと回答の精度が大幅に向上した。
論文参考訳（メタデータ） (2025-10-06T11:09:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。