論文の概要: SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
- arxiv url: http://arxiv.org/abs/2509.10208v1
- Date: Fri, 12 Sep 2025 12:56:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-15 16:03:08.08901
- Title: SI-FACT: Mitigating Knowledge Conflict via Self-Improving Faithfulness-Aware Contrastive Tuning
- Title（参考訳）: SI-FACT:自己改善による知識紛争の軽減 : コントラストのチューニング
- Authors: Shengqiang Fu,
- Abstract要約: 大規模言語モデルは、知識の衝突により、知識集約的なタスクにおいて不誠実な応答を生成することが多い。
このフレームワークは自己指示機構を使用して、ベースLLMが高品質なコントラスト学習データを自動生成することを可能にする。
知識衝突評価ベンチマークのECARE KREとCOSE KREの実験では、Llama3 8Bに基づくSI FACTモデルでは、最高のベースライン法よりもコンテキストリコール率を6.2%改善している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models often generate unfaithful responses in knowledge intensive tasks due to knowledge conflict,that is,a preference for relying on internal parametric knowledge rather than the provided context.To address this issue,we propose a novel self improving framework,Self Improving Faithfulness Aware Contrastive Tuning.The framework uses a self instruct mechanism that allows the base LLM to automatically generate high quality,structured contrastive learning data,including anchor samples,semantically equivalent positive samples,and negative samples simulating unfaithful scenarios.This approach significantly reduces the cost of manual annotation.Subsequently,contrastive learning is applied to train the model,enabling it to pull faithful responses closer and push unfaithful responses farther apart in the representation space.Experiments on knowledge conflict evaluation benchmarks ECARE KRE and COSE KRE show that the SI FACT model based on Llama3 8B Instruct improves the Contextual Recall Rate by 6.2% over the best baseline method,while significantly reducing dependence on internal memory.The results indicate that SI FACT provides strong effectiveness and high data efficiency in enhancing the contextual faithfulness of LLMs,offering a practical pathway toward building more proactive and trustworthy language models.
- Abstract（参考訳）: 大規模言語モデルは、知識の衝突による知識集約的なタスクにおいて、不誠実な応答をしばしば生み出す。すなわち、与えられた文脈よりも内部のパラメトリックな知識に頼る傾向にある。この問題に対処するために、新しい自己改善フレームワークであるSelf Improving Faithfulness Aware Contrastive Tuningを提案する。このフレームワークは、ベースLSMが高品質で構造的な学習データを自動生成できる自己インストラクションメカニズムを用いて、アンカーサンプル、半等価な正のサンプル、非現実的なシナリオをシミュレーションする負のサンプルを含む、高品質な学習データを自動生成できる。このアプローチは、手作業のコストを大幅に削減する。その後、モデルのトレーニング、より忠実な応答を引き出し、空間の表現よりも不誠実な応答を推し進める。ECREのベンチマークに基づくCOREのKREとKREのKREの6.3.3.3.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.8.8.8. 8.8.8.8.8.8.8.8.8.8.8.6.6.6.6.6.6.8.8.8.6.8.8.8.8.8.8.8.8.8.8.8.8.8.8.6.6.6.8.8.8.8.8.8.8.8.8.8.8.8. 8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.8.6.6.8.8.6.6.8.8.6.8.8.8.6.6.6.6.6.8.8.6. 6.6.8.6.6.8.8.6.6.6.6.6.8.8.6.6.8.8.8.8.6.6.8.8.6.6.6.6.6.6.6.6.6.6.8.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6. 6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.6.2. 6.6.2.2.6.6.6.6.6.6.6.6.6.6.6. 言語言語言語言語言語言語言語言語言語言語言語は、自己言語言語言語は、自己言語は、自己言語言語モデルはは、自己言語は、自己は、自己言語は、自己言語は、自己言語は、自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己の自己の自己の自己の自己は、自己の自己の自己の自己の自己の自己は、自己は、自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己の自己の自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己自己
関連論文リスト
- Structured Uncertainty guided Clarification for LLM Agents [126.26213027785813]
LLMエージェントは、ツールコール機能を備えた大きな言語モデルを拡張するが、曖昧なユーザ命令は、しばしば誤った呼び出しやタスクの失敗につながる。
本稿では,ツールコールパラメータに対する構造的不確かさの定式化,完全情報の期待値(EVPI)を目標としたPOMDPのモデル化,冗長性防止のためのアスペクトベースコストモデルを提案する。
我々のSAGE-Agentは、この構造化された不確実性を活用し、より優れた効率を達成するために、曖昧なタスクのカバレッジを7～39%増加させ、明確な質問を1.5～2.7$times$に減らした。
論文 参考訳（メタデータ） (2025-11-11T21:50:44Z) - Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning [29.778703252962092]
大規模言語モデル(LLM)の進化のための強力なパラダイムとして強化学習(RL)が登場した。
外部の監督なしに動作する新しいテストタイム報酬機構を開発した。
論文 参考訳（メタデータ） (2025-10-20T07:53:51Z) - LANPO: Bootstrapping Language and Numerical Feedback for Reinforcement Learning in LLMs [73.27182315028021]
LANPOは、フィードバックの役割をきれいに分離するフレームワークである。
我々の研究は、歴史体験をLLM RLループに統合する堅牢な方法を提供し、より効果的でデータ効率のよい学習エージェントを作成します。
論文 参考訳（メタデータ） (2025-10-18T15:51:19Z) - Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。
CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。
本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
論文 参考訳（メタデータ） (2025-10-15T12:51:47Z) - Rethinking LLM Parametric Knowledge as Post-retrieval Confidence for Dynamic Retrieval and Reranking [23.1400319714807]
大規模言語モデル(LLM)は、知識の範囲を超えて疑問に直面したとき、しばしば不正確な応答(幻覚)を生成する。
Retrieval-Augmented Generation (RAG)は、外部知識を活用することでこの問題に対処するが、重要な課題は、検索されたコンテキストが特定のクエリに応答する能力を効果的に強化するかどうかである。
この課題は知識境界認識の重要性を浮き彫りにしており、これは現在の手法が個別のラベルや限られた信号障害に適切に対処する方法である。
論文 参考訳（メタデータ） (2025-09-08T09:37:20Z) - Trust, But Verify: A Self-Verification Approach to Reinforcement Learning with Verifiable Rewards [67.86091419220816]
大規模言語モデル(LLM)は複雑な推論において非常に有望である。
一般的な問題は表面的な自己回帰であり、モデルが自身の出力をしっかりと検証できない。
本稿では、RISE(Reinforce Reasoning with Self-Verification)という新しいオンラインRLフレームワークについて紹介する。
論文 参考訳（メタデータ） (2025-05-19T17:59:31Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - ParamMute: Suppressing Knowledge-Critical FFNs for Faithful Retrieval-Augmented Generation [91.20492150248106]
本研究では,不誠実な生成の背後にある内部メカニズムを解明し,不均等に活性化される中深度フィードフォワードネットワーク(FFN)のサブセットを同定する。
本研究では,不信感関連FFNの活性化を抑制することにより,文脈的忠実度を向上させるフレームワークであるParametric Knowledge Mutingを提案する。
実験結果から,ParamMuteはCoFaithfulQAと確立されたConFiQAベンチマークの両方の信頼度を大幅に向上し,パラメトリックメモリへの依存度を大幅に低下させることが示された。
論文 参考訳（メタデータ） (2025-02-21T15:50:41Z) - ReLearn: Unlearning via Learning for Large Language Models [64.2802606302194]
本研究では、効果的なアンラーニングのためのデータ拡張および微調整パイプラインであるReLearnを提案する。
このフレームワークでは、知識レベルの保存を測定するために、知識獲得率(KFR)と知識保持率(KRR)を導入している。
実験の結果,ReLearnは高品質な出力を保ちながら,目標とするリセットを実現することができた。
論文 参考訳（メタデータ） (2025-02-16T16:31:00Z) - Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization [35.269343563526675]
我々は,大規模言語モデルに忠実な世代と不誠実な世代を明確に区別するためのフレームワークであるRHIOを提案する。
RHIOは、検索ヘッドを選択的にマスキングすることで、現実的なモデル固有のエラーをシミュレートする不誠実なサンプルを最初に強化する。
これらのサンプルは共同トレーニングに組み込まれ、制御トークンに条件付けられた忠実なものから不誠実な出力を区別することができる。
論文 参考訳（メタデータ） (2025-01-23T11:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。