論文の概要: Do LLMs Make More Mistakes If They Do Not Believe the Input Data?

• arxiv url: http://arxiv.org/abs/2609.09363v1
• Date: Tue, 08 Sep 2026 18:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.79148
• Title: Do LLMs Make More Mistakes If They Do Not Believe the Input Data?
• Title（参考訳）: LLMは入力データを信じていない場合、より多くの間違いを犯すか?
• Abstract要約: 大型言語モデル(LLM)は、事実を幻覚または誤解釈する傾向がある。 提案する文脈に対するLCMの忠実さは,その文脈をいかに知覚するかに依存している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are prone to hallucinating or misinterpreting facts, which impairs their usability in retrieval-augmented generation or data-to-text systems. We analyse how faithfulness of LLMs to provided context depends on how plausible they perceive the context to be (context-memory conflict). To better identify error patterns, we make use of the increased difficulty of non-English and low-resource language text generation and input data based on local knowledge, only partially captured in models' parametric knowledge. We let the models generate text in English, Czech, Slovak and Upper Sorbian from factual (FA), counterfactual (CFA) and fictional (FI) RDF triples containing local Czech and Slovak data. Contrary to our expectations, we observe only a weak context-memory conflict on the human-annotated sample. For Kimi K3 as an LLM judge, which agrees well with human annotations on the sample, counterfactual inputs receive only slightly lower faithfulness scores than factual ones (-0.05 on a 1-5 scale). We also find that a suboptimal choice of LLM judge would lead to overestimating the strength of the context-memory conflict.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事実を幻覚または誤解釈する傾向があるため、検索強化世代やデータ-テキストシステムにおける使用性を損なう。 私たちは、LLMのコンテキストに対する忠実さが、コンテキスト(コンテキスト-メモリの衝突)をいかに知覚するかに依存しているかを分析します。 誤りパターンをよりよく識別するために、非英語および低リソース言語テキスト生成の難しさと、局所的な知識に基づく入力データの増大を利用して、モデルのパラメトリックな知識に部分的に捕えられるだけである。 我々は、これらのモデルが、実写(FA)、偽写(CFA)、実写(FI)のRDFトリプルから、英語、チェコ語、スロバキア語、およびアッパー・ソルビアン語でテキストを生成するようにした。 期待とは対照的に,人間に注釈を付けたサンプルでは,コンテキストメモリの対立が弱いだけである。 サンプル上の人間のアノテーションとよく一致しているLCM審査員のKim K3にとって、偽事実入力は実物よりもわずかに低い忠実度スコア(−0.05の1-5スケール)しか得られない。 また, LLM判定の最適下選択は, 文脈記憶衝突の強さを過大評価する原因となることも見出した。

関連論文リスト

• LLMs as annotators of credibility assessment in Danish asylum decisions: evaluating classification performance and errors beyond aggregated metrics [21.604030114864642]
  オフザシェルフの大規模言語モデル(LLM)は、テキストアノテーションの自動化にますます利用されている。 デンマークのテキスト分類データセットであるRAB-Credを紹介した。 本研究は,21個のオープンウェイトモデルと30個のシステム・ユーザ・プロンプトの組み合わせをベンチマークし,ゼロショットと少数ショットの分類におけるモデルとプロンプトの選択の効果を体系的に評価する。
  論文  参考訳（メタデータ） (2026-05-13T12:07:47Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation [66.84286617519258]
  大規模言語モデルは、データアノテーションやテキスト分析といった労働集約的なタスクの自動化を可能にすることで、社会科学の研究を変革している。 このような変異は、系統的なバイアスやランダムなエラーを導入し、下流の分析に伝播し、タイプI(偽陽性)、タイプII(偽陰性)、タイプS(重み付け効果)、タイプM(誇張効果)のエラーを引き起こす。 意図的なLSMハッキングは驚くほど単純であることがわかった。21の社会科学研究から37のデータアノテーションタスクを複製することで、ほんのわずかのプロンプトの言い回しで、事実上何であれ統計的に重要なものとして表現できることがわかりました。
  論文  参考訳（メタデータ） (2025-09-10T17:58:53Z)
• Small Encoders Can Rival Large Decoders in Detecting Groundedness [45.13986921082049]
  大規模言語モデル(LLM)を外部コンテキストで拡張することで、自然言語処理(NLP)タスクのパフォーマンスが大幅に向上する。 本研究は,LLMによるコストのかかる回答生成の前に,与えられたクエリがコンテキストで提供されるドキュメントにグラウンドドされているかを検出することに焦点を当てる。 我々は,RoBERTa や NomicBERT などの軽量なタスク固有エンコーダモデルにおいて,キュレートされたデータセットを微調整することで,最先端の LLM に匹敵する精度が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-26T14:09:41Z)
• REPA: Russian Error Types Annotation for Evaluating Text Generation and Judgment Capabilities [45.00513157371274]
  我々は、ロシア語で大言語モデルを審査員として使用する枠組みを評価した。 人選好に基づく3つの評価システムを用いて, エラータイプ別に6つの生成LDMをランク付けする。 以上の結果から,LLM判定におけるロシア語と英語の差が顕著であった。
  論文  参考訳（メタデータ） (2025-03-17T12:15:16Z)
• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Robustness of Large Language Models to Perturbations in Text [2.2734015467359217]
  大規模言語モデル(LLM)は素晴らしいパフォーマンスを示していますが、現実のデータでは避けられないノイズを処理できますか? この研究は、LLMのテキストのモルフォロジー変化に対するレジリエンスを調査することによって、この重要な問題に取り組む。 以上の結果から, LLM は, 一般の信念とは対照的に, 文中での騒々しい摂動に対して静かであることが明らかとなった。
  論文  参考訳（メタデータ） (2024-07-12T04:50:17Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Using Large Language Models for Qualitative Analysis can Introduce Serious Bias [0.09208007322096534]
  大規模言語モデル(LLM)は急速に普及しつつあるが、社会科学研究の意義はまだよく分かっていない。 本稿では, バングラデシュのコックス・バザールにおけるロヒンギャ難民へのインタビューの書き起こしを応用して, オープンエンドインタビューから大規模Nの質的データを分析する上で, LLMが有効かどうかを問う。 LLMを使ってテキストに注釈を付けるには、誤解を招く可能性のあるバイアスを導入するリスクがあるため、非常に注意が必要であることが分かりました。
  論文  参考訳（メタデータ） (2023-09-29T11:19:15Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
  我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。 より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。 そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:16:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。