論文の概要: TIAR: Trajectory-Informed Advantage Reweighting for LLM Abstention Learning

• arxiv url: http://arxiv.org/abs/2605.25850v1
• Date: Mon, 25 May 2026 13:42:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.14812
• Title: TIAR: Trajectory-Informed Advantage Reweighting for LLM Abstention Learning
• Title（参考訳）: trajectory-informed Advantage Reweighting for LLM Abstention Learning
• Authors: Muyu Pan, Shu Zhao, Nan Zhang, Philip Shin, Varun Parekh, Vijaykrishnan Narayanan, Rui Zhang,
• Abstract要約: 本稿では,大規模言語モデルにおける真さを動機づける3次報酬を用いて,大規模言語モデル(LLM)の禁忌学習について検討する。 本研究の目的は,幻覚の減少を探求する手段として,真理性を改善するのではなく,禁忌学習に焦点をあてることである。
• 参考スコア（独自算出の注目度）: 19.894352702757292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates large language model (LLM) abstention learning, specifically using ternary reward, which incentivize truthfulness in large language models. This paper extends that idea by moving from a ternary reward to a Trajectory-Informed advantage reweighting, dynamically re-weights the abstention reward during Group Relative Policy Optimization (GRPO) training. The objective of this work focuses on abstention learning instead of improving truthfulness, serving as an exploration into hallucination reduction. The novelty of this paper lies in methodological innovation, advantage re-weighting, and benchmark selection. Leveraging GRPO's multiple trajectories as a natural abstention signal, this method uses a reward signal to explore knowledge boundaries and encourage consistency. By demonstrating that trajectories can be used as a confidence indicator of the policy relative to the query, they are then used to dynamically calculate the abstention advantage. AbstentionBench is used as the evaluation benchmark, as this work aims to contribute to the field of abstention learning. All datasets on the benchmark were tested against this method and various baselines. Empirical results demonstrate that TIAR achieves state-of-the-art abstention F1 scores across five of six evaluation categories, outperforming the static ternary baseline on 17 of 31 benchmark datasets while fully preserving baseline accuracy.
• Abstract（参考訳）: 本稿では,大規模言語モデルにおける真さを動機づける3次報酬を用いて,大規模言語モデル(LLM)の禁忌学習について検討する。 本稿では,3次報酬からトラジェクティブ・インフォームド・アドバンスト・リウェイトへ移行することで,グループ相対的政策最適化(GRPO)トレーニング中に留意報酬を動的に再重み付けする。 本研究の目的は,幻覚の減少を探求する手段として,真理性を改善するのではなく,禁忌学習に焦点をあてることである。 本論文の新規性は,方法論的革新,有利な再重み付け,ベンチマーク選択にある。 GRPOの複数の軌道を自然な禁制信号として利用し、報奨信号を用いて知識境界の探索と一貫性の促進を行う。 トラジェクトリをクエリに対するポリシーの信頼度指標として使用することにより、留意点を動的に計算する。 AbstentionBenchは評価ベンチマークとして使われており、この研究は禁忌学習の分野に貢献することを目的としている。 ベンチマーク上のすべてのデータセットは、この方法と様々なベースラインに対してテストされた。 実証実験の結果、TIARは6つの評価カテゴリのうち5つの評価カテゴリで最先端の禁忌F1スコアを達成し、31のベンチマークデータセットのうち17の静的3次ベースラインを上回り、ベースライン精度を完全に保存した。

関連論文リスト

• UniER: A Unified Benchmark for Item-level and Path-level Exercise Recommendation [53.62147575168325]
  We present a Unified Benchmark for Exercise Recommendation (UniER) UniERは、ILERとPLERを統合する包括的な評価フレームワークである。 本研究は, pleRの系統的優位性を明らかにするとともに, ILERのフラグメントドレコメンデーションの教育的失敗を明らかにするものである。
  論文  参考訳（メタデータ） (2026-05-16T02:07:58Z)
• LEAP: Trajectory-Level Evaluation of LLMs in Iterative Scientific Design [2.3002606004642723]
  現在の設計ベンチマークは、固定された地平線でのみ結果スナップショットをスコアする。 LEAPBench は曲線 (AUC) 軌跡距離と古典的ベイズ最適化基準の下で最遠距離領域をペアする。 最終結果から軌道スコアへの切り替えは、一致した地平線でのタスクの53%における最良のモデル決定を変える。
  論文  参考訳（メタデータ） (2026-05-14T19:10:45Z)
• Internalizing Curriculum Judgment for LLM Reinforcement Fine-Tuning [10.09875193130083]
  METIS(METa internalized Self-judgment)は、カリキュラムの判断をネイティブな能力として内部化するフレームワークである。 METISは、標準RTT報酬と自己判断報酬を共同最適化することで、判断と最適化のループを閉じる。
  論文  参考訳（メタデータ） (2026-05-11T20:50:29Z)
• Knowing When to Quit: A Principled Framework for Dynamic Abstention in LLM Reasoning [14.21654642388249]
  無視は、アウトプットの正確さを抑えることで、これを緩和することができる。 本稿では,大規模言語モデルに対する動的棄権の形式的解析について述べる。 値関数を近似する原理的かつ効率的な手法を導出する。
  論文  参考訳（メタデータ） (2026-04-20T15:38:45Z)
• Scaling Reasoning Efficiently via Relaxed On-Policy Distillation [49.39199261602195]
  REOPOLD(Relaxed On-Policy Distillation)は、標準的なオンライン蒸留の厳密な模倣制約を緩和することで最適化を安定化するフレームワークである。 特に、REOPOLDは、混合型報酬クリッピング、エントロピーベースのトークンレベルのダイナミックサンプリング、および統一的な探索・縮小訓練戦略を通じて、教師の報酬を選択的に活用する。
  論文  参考訳（メタデータ） (2026-03-11T16:26:52Z)
• PROF: An LLM-based Reward Code Preference Optimization Framework for Offline Imitation Learning [29.373324685358753]
  本稿では,自然言語記述から実行可能報酬関数コードを生成し,改善するためのフレームワークであるPROFと,単一専門家の軌跡を提案する。 また,環境相互作用やRLトレーニングを必要とせず,新たな報酬関数品質評価とランキング戦略であるReward Preference Ranking(RPR)を提案する。
  論文  参考訳（メタデータ） (2025-11-14T14:38:02Z)
• Reward-Augmented Data Enhances Direct Preference Alignment of LLMs [63.32585910975191]
  報奨条件付き大言語モデル(LLM)を導入し、データセット内の応答品質のスペクトル全体から学習する。 当社のアプローチは,DPOをかなりのマージンで継続的に向上させることを示す。 本手法は,嗜好データの有用性を最大化するだけでなく,未学習の問題も軽減し,データ拡張を超えてその広範な効果を実証する。
  論文  参考訳（メタデータ） (2024-10-10T16:01:51Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Rewards Encoding Environment Dynamics Improves Preference-based Reinforcement Learning [4.969254618158096]
  本研究では、報酬関数(REED)の符号化環境ダイナミクスにより、最先端の嗜好に基づくRLフレームワークに必要な選好ラベルの数を劇的に減らすことを示す。 一部のドメインでは、REEDベースの報酬関数は、基礎的真理報酬に基づいて訓練されたポリシーより優れたポリシーをもたらす。
  論文  参考訳（メタデータ） (2022-11-12T00:34:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。