論文の概要: KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search

• arxiv url: http://arxiv.org/abs/2606.29863v1
• Date: Mon, 29 Jun 2026 06:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.087765
• Title: KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search
• Title（参考訳）: KbSD:エージェント検索における行動校正のための自己蒸留を意識した知識境界
• Abstract要約: KbSD(Knowledge boundary Self-Distillation)は,高密度トークンレベルの監視による制限に対処するフレームワークである。 KbSDは、学生と建築的に同一のヒントを付加した教師を構築し、明示的な知識境界信号を受け取る。 実験により、KbSDはタスク精度と強いベースラインに対する幻覚緩和の両方を一貫して改善することが示された。
• 参考スコア（独自算出の注目度）: 13.024432404905198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic search equips large language models with dynamic retrieval abilities, but existing reinforcement learning methods remain limited by reward sparsity in knowledge boundary calibration -- deciding when to trust parametric memory, when to rely on retrieved evidence, and when to abstain. Binary rewards can penalize undesirable outcomes, but provide little guidance on the reasoning process required to make calibrated decisions across different knowledge states. To address this, we propose KbSD (Knowledge boundary Self-Distillation), a framework that tackles this limitation through dense token-level supervision, outcome-level sparse rewards, and quadrant-adaptive optimization. KbSD constructs a hint-augmented teacher, architecturally identical to the student, that receives explicit knowledge boundary signals -- including parametric certainty, retrieval quality, and ground-truth answers -- to generate calibrated reasoning demonstrations. This information-asymmetric self-distillation enables dense supervision without requiring a larger external model. To further account for the heterogeneous reasoning distributions across knowledge states, we introduce a quadrant-adaptive distillation objective: reverse KL for concentrated integration, forward KL for diverse refusal, and Pareto-optimal bidirectional KL for asymmetric quadrants requiring both precision and coverage. Experiments on multiple benchmarks show that KbSD consistently improves both task accuracy and hallucination mitigation over strong baselines, with the largest gains appearing in the challenging quadrants where sparse rewards are least informative.
• Abstract（参考訳）: エージェント検索は動的検索能力を持つ大規模言語モデルを装備するが、既存の強化学習手法は知識境界校正における報酬の空間性によって制限されている。 バイナリ報酬は、望ましくない結果に罰を与えることができるが、異なる知識状態に対して調整された決定を行うために必要な推論プロセスについてはほとんどガイダンスを提供しない。 これを解決するために,KbSD (Knowledge boundary Self-Distillation) を提案する。 KbSDは、学生とアーキテクチャ的に同一のヒントを付加した教師を構築し、パラメトリックな確実性、検索品質、地味な回答を含む明示的な知識境界信号を受け取り、校正された推論デモを生成する。 この情報非対称自己蒸留は、より大きな外部モデルを必要としない密集した監視を可能にする。 知識状態間の不均一な推論分布を更に説明するために, 集中統合のための逆KL, 多様な拒絶のための前方KL, 精度とカバレッジの両方を必要とする非対称な四角形に対するパレート最適双方向KLを導入する。 複数のベンチマークでの実験では、KbSDはタスク精度と強いベースラインに対する幻覚の緩和の両方を一貫して改善し、スパース報酬が最小限である挑戦的な四分儀に最大の利益が現れる。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• DIAG: Diagnostic Iterative Alignment and Generation for Data-Efficient Mathematical Preference Distillation [7.6963470169750465]
  本稿では,学生の現在の能力境界付近における情報監督と集中訓練を促進するための診断反復アライメント・ジェネレーション・フレームワークを提案する。 実験によると、DIAGはイテレーション全体で収量を増やし、同効果のトレーニング予算の下でより強力な推論性能を提供する。
  論文  参考訳（メタデータ） (2026-08-24T05:09:12Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Exploring Agentic Tool-Calling Decisions via Uncertainty-Aligned Reinforcement Learning [63.24624171679711]
  大規模言語モデル(LLM)ベースのエージェントは、しばしば最適なツール使用の決定を行う。 本研究では、不確実性分離を維持するための推進力として、不確実性定量化を報酬設計に組み込んだTRUSTを提案する。
  論文  参考訳（メタデータ） (2026-06-05T07:08:34Z)
• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning [46.007379982024474]
  KARLはLLMの棄権行動と進化する知識境界を整合させる新しいフレームワークである。 精度の高い幻覚トレードオフを実現し、分布内および分布外の両方のシナリオで高い精度を維持しながら、幻覚を効果的に抑制する。
  論文  参考訳（メタデータ） (2026-04-03T11:30:56Z)
• Optimizing In-Context Demonstrations for LLM-based Automated Grading [31.353360036776976]
  GUIDE(Grading Using Iteratively Designed Exemplars)は、経験的選択と改善を境界中心の最適化問題として再設計するフレームワークである。 物理, 化学, 教育的内容知識の実験において, GUIDE は標準的検索基準を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2026-02-28T04:52:38Z)
• Know What You Know: Metacognitive Entropy Calibration for Verifiable RL Reasoning [31.629261193485053]
  大規模推論モデル(LRM)は、複雑な現実世界のタスクを解くための強力なパラダイムとして登場した。 既存の結果のみのRLVRパイプラインのほとんどは、バイナリの正当性信号にのみ依存しており、モデルの本質的な不確かさをほとんど無視している。 本稿では,メタ認知型エントロピーキャリブレーションフレームワークEGPOを提案する。
  論文  参考訳（メタデータ） (2026-02-26T08:40:06Z)
• Search-R2: Enhancing Search-Integrated Reasoning via Actor-Refiner Collaboration [49.9937230730202]
  本稿では,新たなアクター・リファイナ・コラボレーション・フレームワークであるSearch-R2を提案する。 提案手法は,生成過程をアクターに分解し,最初の推論軌道を生成する。 本稿では,検索-R2がモデルスケール全体にわたって強力なRAGとRLベースのベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-02-03T15:32:09Z)
• CATNIP: LLM Unlearning via Calibrated and Tokenized Negative Preference Alignment [14.853204323785334]
  既存のアプローチは、グラディエント・アセント(GA)をルーツとしており、保持データやコントラッシブなペアに頼りながら、一般的なドメイン知識を劣化させることが多い。 我々は,モデルのトークンレベルの信頼度に比例して,未学習効果を再スケールする原理的手法を開発した。 我々の研究は、保持データや対照的なアンラーニング応答ペアを必要とせず、効果的なアンラーニングを可能にする。
  論文  参考訳（メタデータ） (2026-02-02T21:23:54Z)
• ASK: Adaptive Self-improving Knowledge Framework for Audio Text Retrieval [19.94287753279928]
  オーディオテキスト検索(ATR)の主流パラダイムは、ミニバッチベースのコントラスト学習に依存している。 Gradient Locality Bottleneck(GLB)は、モデルがバッチ外の知識を活用することを構造的に防止する。 Representation-Drift Mismatch(Representation-Drift Mismatch、RDM)とは、静的知識ベースが進化するモデルと徐々に不一致になり、ガイダンスがノイズになる現象である。
  論文  参考訳（メタデータ） (2025-12-11T14:48:30Z)
• Sycophancy Mitigation Through Reinforcement Learning with Uncertainty-Aware Adaptive Reasoning Trajectories [58.988535279557546]
  適応推論トラジェクトリを用いたtextbf sycophancy Mitigation を提案する。 SMARTは,分布外の入力に対して強い性能を維持しながら,サイコファンティクスの挙動を著しく低下させることを示した。
  論文  参考訳（メタデータ） (2025-09-20T17:09:14Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。