論文の概要: How Reliable are LLMs for Reasoning on the Re-ranking task?

• arxiv url: http://arxiv.org/abs/2508.18444v1
• Date: Mon, 25 Aug 2025 19:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.573161
• Title: How Reliable are LLMs for Reasoning on the Re-ranking task?
• Title（参考訳）: リグレードタスクにおけるLLMの信頼性
• Authors: Nafis Tanveer Islam, Zhiming Zhao,
• Abstract要約: 大規模言語モデル(LLM)における学習方法の違いがタスクのセマンティック理解に与える影響を解析する。 ユーザエンゲージメントが制限され、ランキングデータが不十分な新規開発システムでは、コンテンツを正確に再ランク付けすることが大きな課題である。
• 参考スコア（独自算出の注目度）: 3.282961543904818
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: With the improving semantic understanding capability of Large Language Models (LLMs), they exhibit a greater awareness and alignment with human values, but this comes at the cost of transparency. Although promising results are achieved via experimental analysis, an in-depth understanding of the LLM's internal workings is unavoidable to comprehend the reasoning behind the re-ranking, which provides end users with an explanation that enables them to make an informed decision. Moreover, in newly developed systems with limited user engagement and insufficient ranking data, accurately re-ranking content remains a significant challenge. While various training methods affect the training of LLMs and generate inference, our analysis has found that some training methods exhibit better explainability than others, implying that an accurate semantic understanding has not been learned through all training methods; instead, abstract knowledge has been gained to optimize evaluation, which raises questions about the true reliability of LLMs. Therefore, in this work, we analyze how different training methods affect the semantic understanding of the re-ranking task in LLMs and investigate whether these models can generate more informed textual reasoning to overcome the challenges of transparency or LLMs and limited training data. To analyze the LLMs for re-ranking tasks, we utilize a relatively small ranking dataset from the environment and the Earth science domain to re-rank retrieved content. Furthermore, we also analyze the explainable information to see if the re-ranking can be reasoned using explainability.
• Abstract（参考訳）: LLM(Large Language Models)のセマンティック理解能力の改善により、人間の価値に対する認識とアライメントが向上するが、これは透明性の犠牲になる。 実験分析によって有望な結果が得られるが、LLMの内部動作の深い理解は、再ランクの背景にある理由を理解することは避けられない。 また,ユーザエンゲージメントが制限され,ランキングデータが不十分な新規開発システムでは,コンテンツを正確に再ランク付けすることが大きな課題である。 様々なトレーニング手法がLLMのトレーニングに影響を与え,推論を生成する一方で,いくつかのトレーニング手法が他の方法よりも優れた説明可能性を示し,すべてのトレーニング手法を通じて正確な意味理解が学習されていないことを示唆する分析結果が得られた。 そこで本研究では,異なる学習手法がLLMにおける再分類タスクのセマンティック理解にどのように影響するかを分析し,これらのモデルが透明性やLLMの課題を克服し,限られた学習データに対処できるかどうかを考察する。 タスクの再ランク付けには,環境と地球科学領域からの比較的小さなランキングデータセットを用いて,検索したコンテンツを再ランク付けする。 さらに、説明可能な情報を分析し、説明可能性を用いて再ランク付けが可能かどうかを確かめる。

関連論文リスト

• Accommodate Knowledge Conflicts in Retrieval-augmented LLMs: Towards Reliable Response Generation in the Wild [11.058848731627233]
  大規模言語モデル (LLM) には高度な情報検索システムがある。 LLMは、しばしば内部記憶と検索された外部情報の間の知識の衝突に直面している。 スウィンVIBは,変分情報ボトルネックモデルのパイプラインを,検索した情報の適応的拡張に統合する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-04-17T14:40:31Z)
• Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
  我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。 そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering [66.5524727179286]
  NOVAは、幻覚を減らすための学習知識とよく一致した高品質なデータを特定するために設計されたフレームワークである。 内部整合性探索(ICP)とセマンティック等価同定(SEI)が含まれており、LLMが命令データとどれだけ親しみやすいかを測定する。 選択したサンプルの品質を確保するため,親しみ以上の特性を考慮した専門家による報酬モデルを導入する。
  論文  参考訳（メタデータ） (2025-02-11T08:05:56Z)
• UAlign: Leveraging Uncertainty Estimations for Factuality Alignment on Large Language Models [41.67393607081513]
  大きな言語モデル(LLM)は、しばしば、彼らが持っている事実の知識を正確に表現するのに苦労する。 知識境界を表現するために不確実性推定を利用するUAlignフレームワークを提案する。 提案したUAlign は LLM の能力を大幅に向上させ,既知の疑問に自信を持って答えることができることを示す。
  論文  参考訳（メタデータ） (2024-12-16T14:14:27Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。