論文の概要: Enhancing Relation Extraction via Supervised Rationale Verification and Feedback

• arxiv url: http://arxiv.org/abs/2412.07289v1
• Date: Tue, 10 Dec 2024 08:18:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:39:16.415468
• Title: Enhancing Relation Extraction via Supervised Rationale Verification and Feedback
• Title（参考訳）: 教師付きRationale検証とフィードバックによる関係抽出の強化
• Authors: Yongqi Li, Xin Miao, Shen Zhou, Mayi Xu, Yuyang Ren, Tieyun Qian,
• Abstract要約: 本稿では,関係抽出のための新しいフィードバックフレームワークを提案する。 合理性を検証し、最初の予測を正すためのフィードバックとして再選択されたデモを提供する。 提案手法は既存手法よりも大幅に優れている。
• 参考スコア（独自算出の注目度）: 12.687458877141934
• License:
• Abstract: Despite the rapid progress that existing automated feedback methods have made in correcting the output of large language models (LLMs), these methods cannot be well applied to the relation extraction (RE) task due to their designated feedback objectives and correction manner. To address this problem, we propose a novel automated feedback framework for RE, which presents a rationale supervisor to verify the rationale and provide re-selected demonstrations as feedback to correct the initial prediction. Specifically, we first design a causal intervention and observation method for to collect biased/unbiased rationales for contrastive training the rationale supervisor. Then, we present a verification-feedback-correction procedure to iteratively enhance LLMs' capability of handling the RE task. Extensive experiments prove that our proposed framework significantly outperforms existing methods.
• Abstract（参考訳）: 既存の自動フィードバック手法が大規模言語モデル(LLM)の出力を補正する手法が急速に進歩しているにもかかわらず、これらの手法は、その指定されたフィードバック目標と修正方法により、関係抽出(RE)タスクに十分に適用できない。 そこで我々は,REのための新しい自動フィードバックフレームワークを提案する。このフレームワークでは,合理的なオーバヘッドが合理的に検証し,再選択されたデモをフィードバックとして提供し,初期予測を正す。 具体的には、まず、偏り/偏りのない有理数を集めるための因果的介入と観察法を設計し、有理数スーパーバイザーを対照的に訓練する。 そこで本研究では,REタスクの処理能力を向上させるための検証フィードバック補正手法を提案する。 大規模な実験により,提案手法が既存手法より大幅に優れていたことが証明された。

関連論文リスト

• ReVISE: Learning to Refine at Test-Time via Intrinsic Self-Verification [53.80183105328448]
  Refine via Intrinsic Self-Verification (ReVISE)は、LLMが自己検証を通じてアウトプットを自己修正できる効率的なフレームワークである。 様々な推論タスクに関する実験により、ReVISEは効率的な自己補正を実現し、推論性能を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2025-02-20T13:50:02Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• ReARTeR: Retrieval-Augmented Reasoning with Trustworthy Process Rewarding [25.329712997545794]
  ReARTeR(Retrieval-Augmented Reasoning)を提案する。 ReARTeRは、ポストトレーニングとテストタイムスケーリングを通じて、RAGシステムの推論能力を向上する。 マルチステップ推論ベンチマークの実験結果から,大幅な改善が示された。
  論文  参考訳（メタデータ） (2025-01-14T05:56:26Z)
• The Lessons of Developing Process Reward Models in Mathematical Reasoning [62.165534879284735]
  Process Reward Models (PRM) は、推論プロセスにおける中間エラーを特定し、緩和することを目的としている。 我々は,モンテカルロ (MC) 推定とLarge Language Models (LLM) を効果的に統合するコンセンサスフィルタリング機構を開発した。 私たちは、既存のオープンソース代替品よりも優れた、最先端のPRMを新たにリリースしています。
  論文  参考訳（メタデータ） (2025-01-13T13:10:16Z)
• ProgCo: Program Helps Self-Correction of Large Language Models [32.65127404232516]
  Self-Correctionは、大規模な言語モデル(LLM)が、外部からのフィードバックなしに初期応答を自己検証し、自己定義できるようにすることを目的としている。 ProgCoは効果的な自己補正を実現し、実際のプログラムツールと組み合わせることでパフォーマンスをさらに向上させることができる。
  論文  参考訳（メタデータ） (2025-01-02T13:59:20Z)
• Rethinking Chain-of-Thought from the Perspective of Self-Training [10.722453877596998]
  思考の連鎖(CoT)推論はLLMの潜在能力を活性化するための効果的なアプローチとして現れている。 推論性能を改善するための新しいCoTフレームワークを提案する。 本フレームワークは,初期推論プロセスを最適化するタスク固有のプロンプトモジュールと,動的に推論プロセスを洗練させる適応推論モジュールの2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-12-14T13:12:50Z)
• PSPO*: An Effective Process-supervised Policy Optimization for Reasoning Alignment [20.053439187190914]
  我々は,報酬得点を決定するための推論ステップの数を考慮したPSPO-WRSを開発し,非線形報酬形成に最適化されたワイブル分布を利用する。 6つの数学的推論データセットの実験結果は、PSPO-WRSが現在の主流モデルより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-18T16:03:51Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Directly Attention Loss Adjusted Prioritized Experience Replay [0.07366405857677226]
  優先度付き再生体験(PER)は、アクセス頻度を人工的に変化させることで、比較的重要なサンプルについてより深く学習することを可能にする。 DALAPが提案され、パラレル自己保持ネットワークを通じて、シフト分布の変化範囲を直接定量化することができる。
  論文  参考訳（メタデータ） (2023-11-24T10:14:05Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• TFPose: Direct Human Pose Estimation with Transformers [83.03424247905869]
  ポーズ推定タスクを変換器で効果的に解くことができるシーケンス予測問題に定式化します。 我々のフレームワークは単純で直接的であり、ヒートマップに基づくポーズ推定の欠点を回避している。 MS-COCOおよびMPIIデータセットの実験は、この手法が回帰ベースのポーズ推定の最先端を大幅に改善できることを示しています。
  論文  参考訳（メタデータ） (2021-03-29T04:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。