論文の概要: Transparentize the Internal and External Knowledge Utilization in LLMs with Trustworthy Citation
- arxiv url: http://arxiv.org/abs/2504.14856v1
- Date: Mon, 21 Apr 2025 04:50:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 19:35:27.273695
- Title: Transparentize the Internal and External Knowledge Utilization in LLMs with Trustworthy Citation
- Title（参考訳）: 信頼性を有するLCMの内部的・外部的知識利用の可視化
- Authors: Jiajun Shen, Tong Zhou, Yubo Chen, Delai Qiu, Shengping Liu, Kang Liu, Jun Zhao,
- Abstract要約: コンテキストPrior Augmented Citation Generationタスクは、外部知識と内部知識の両方を考慮した引用を生成するモデルを必要とする。
我々は,タスクのパラダイムであるRAELを導入し,慣用データ生成とアライメントアルゴリズムを含む統合手法であるINTRALIGNを設計する。
拡張実験により, 検索品質, 質問タイプ, モデル知識が, 引用生成の信頼性にかなりの影響を及ぼすことが明らかとなった。
- 参考スコア（独自算出の注目度）: 25.54961029763311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While hallucinations of large language models could been alleviated through retrieval-augmented generation and citation generation, how the model utilizes internal knowledge is still opaque, and the trustworthiness of its generated answers remains questionable. In this work, we introduce Context-Prior Augmented Citation Generation task, requiring models to generate citations considering both external and internal knowledge while providing trustworthy references, with 5 evaluation metrics focusing on 3 aspects: answer helpfulness, citation faithfulness, and trustworthiness. We introduce RAEL, the paradigm for our task, and also design INTRALIGN, an integrated method containing customary data generation and an alignment algorithm. Our experimental results show that our method achieves a better cross-scenario performance with regard to other baselines. Our extended experiments further reveal that retrieval quality, question types, and model knowledge have considerable influence on the trustworthiness in citation generation.
- Abstract（参考訳）: 大規模な言語モデルの幻覚は、検索強化された生成と引用生成によって緩和される可能性があるが、モデルが内部知識をどのように利用するかはいまだ不透明であり、生成した回答の信頼性は疑問の余地がある。
本研究では,3つの側面に着目した5つの評価指標,すなわち,回答の助力性,引用の忠実性,信頼感の両面に着目して,外部知識と内部知識の両方を考慮した引用をモデルに要求する,コンテキスト・プライア・アジュメンテッド・サイテーション・ジェネレーション(Context-Prior Augmented Citation Generation)タスクを導入する。
我々は,タスクのパラダイムであるRAELを導入し,慣用データ生成とアライメントアルゴリズムを含む統合手法であるINTRALIGNを設計する。
実験結果から,本手法は,他のベースラインに対して,より優れたクロスセサリオ性能を達成できることが示唆された。
拡張実験により, 検索品質, 質問タイプ, モデル知識が, 引用生成の信頼性にかなりの影響を及ぼすことが明らかとなった。
関連論文リスト
- Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
検索強化に関して,言語モデルの信頼性に焦点をあてる。
検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。
言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
論文 参考訳（メタデータ） (2024-10-22T09:25:21Z) - Entropy-Based Decoding for Retrieval-Augmented Large Language Models [43.93281157539377]
外部知識を抽出した大規模言語モデルの拡張は、生成した応答の事実的正確性を改善するのに有効であることが証明されている。
本稿では,この問題を緩和するために,エントロピーを考慮した新しい学習自由復号法を提案する。
論文 参考訳（メタデータ） (2024-06-25T12:59:38Z) - Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
信頼性・確率アライメントの概念を紹介します。
モデルの内部と信頼感の一致を調査する。
分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
論文 参考訳（メタデータ） (2024-05-25T15:42:04Z) - TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。
本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
論文 参考訳（メタデータ） (2024-02-19T21:12:14Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z) - Leveraging Knowledge and Reinforcement Learning for Enhanced Reliability
of Language Models [10.10140327060947]
本研究では,知識グラフの埋め込みとしてコンセプションネットやウィキペディアの知識を統合するために,強化学習を活用する知識誘導型LMアンサンブルアプローチについて検討する。
このアプローチは、データセットの情報不足を補うために外部知識に頼った人間のアノテーションを模倣する。
9つのGLUEデータセットを通して、我々の研究は、アンサンブルが信頼性と精度のスコアを強化し、技術の性能を向上することを示した。
論文 参考訳（メタデータ） (2023-08-25T16:11:08Z) - SWING: Balancing Coverage and Faithfulness for Dialogue Summarization [67.76393867114923]
本稿では,自然言語推論(NLI)モデルを用いて,事実の不整合を回避し,カバレッジを向上させることを提案する。
我々は、NLIを用いて詳細なトレーニング信号を計算し、モデルがカバーされていない参照サマリーのコンテンツを生成することを奨励する。
DialogSumおよびSAMSumデータセットの実験により,提案手法の有効性が確認された。
論文 参考訳（メタデータ） (2023-01-25T09:33:11Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - Unsupervised Commonsense Question Answering with Self-Talk [71.63983121558843]
本稿では,コモンセンスタスクの代替として,セルフトークに基づく教師なしフレームワークを提案する。
探索に基づく探索学習にインスパイアされた我々のアプローチは、質問を求める多くの情報で言語モデルに問い合わせる。
実験結果から,ゼロショット言語モデルベースラインの性能が大幅に向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-11T20:43:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。