論文の概要: CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.20767v1
• Date: Tue, 27 May 2025 06:16:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.442821
• Title: CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models
• Title（参考訳）: CogniBench: 大規模言語モデルの認知的信条を評価するための法律に触発されたフレームワークとデータセット
• Authors: Xiaqiang Tang, Jian Li, Keyu Hu, Du Nan, Xiaolong Li, Xi Zhang, Weigao Sun, Sihong Xie,
• Abstract要約: 既存のベンチマークには、"認知的ステートメント"をマークせずにソース資料をリフレッシュする"実際のステートメント"のみが含まれている。 立法領域において証拠がどのように評価されるかに着想を得て、認知的言明の異なるレベルの忠実さを評価するための厳密な枠組みを設計する。 結果として得られる大規模なCogniBench-Lデータセットは、正確な認知幻覚検出モデルのトレーニングに使用することができる。
• 参考スコア（独自算出の注目度）: 16.270591540135545
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Faithfulness hallucination are claims generated by a Large Language Model (LLM) not supported by contexts provided to the LLM. Lacking assessment standard, existing benchmarks only contain "factual statements" that rephrase source materials without marking "cognitive statements" that make inference from the given context, making the consistency evaluation and optimization of cognitive statements difficult. Inspired by how an evidence is assessed in the legislative domain, we design a rigorous framework to assess different levels of faithfulness of cognitive statements and create a benchmark dataset where we reveal insightful statistics. We design an annotation pipeline to create larger benchmarks for different LLMs automatically, and the resulting larger-scale CogniBench-L dataset can be used to train accurate cognitive hallucination detection model. We release our model and dataset at: https://github.com/FUTUREEEEEE/CogniBench
• Abstract（参考訳）: 忠実な幻覚は、LLMに提供されるコンテキストによってサポートされないLarge Language Model (LLM)によって生成される主張である。 既存のベンチマークには、与えられた文脈から推論する「認知的ステートメント」をマークせずにソース資料を表現し、一貫性の評価と認知的ステートメントの最適化を困難にする「事実的ステートメント」しか含まれていない。 立法領域におけるエビデンスの評価方法に着想を得て、認知的ステートメントのさまざまなレベルの忠実度を評価するための厳密なフレームワークを設計し、洞察に富んだ統計を明らかにするためのベンチマークデータセットを作成します。 アノテーションパイプラインを設計し、異なるLLMのベンチマークを自動的に作成し、その結果、より大規模なCogniBench-Lデータセットを使用して正確な認知幻覚検出モデルをトレーニングする。 私たちはモデルとデータセットをhttps://github.com/FUTUREEEEEE/CogniBenchでリリースします。

関連論文リスト

• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• REFIND at SemEval-2025 Task 3: Retrieval-Augmented Factuality Hallucination Detection in Large Language Models [15.380441563675243]
  REFIND(Retrieval-augmented Factuality Hallucination Detection)は、大規模言語モデル(LLM)出力内の幻覚スパンを検出する新しいフレームワークである。 本研究では,LLM出力の感度を定量的に評価する新しい指標であるコンテキスト感度比(CSR)を提案する。 REFINDは低リソース設定を含む9つの言語で堅牢性を示し、ベースラインモデルではかなり優れていた。
  論文  参考訳（メタデータ） (2025-02-19T10:59:05Z)
• Assessing Language Comprehension in Large Language Models Using Construction Grammar [3.0906699069248806]
  構築文法(CxG)は、構築(Cxns)として知られる言語要素によって捉えられる意味に関する洞察を提供する。 これらのデータセットは、事前学習データには現れないような例を含むように慎重に構築されているが、人間が理解するのは直感的で容易である。 我々の実験は、LLMが8つのユニークなCxnsを通して伝達する意味についての理解を人間と対比することで、下流の自然言語推論と推論タスクに焦点を当てた。
  論文  参考訳（メタデータ） (2025-01-08T18:15:10Z)
• CBEval: A framework for evaluating and interpreting cognitive biases in LLMs [1.4633779950109127]
  大きな言語モデルは、認知過程において顕著なギャップを示す。 人間の生成したデータのリフレクションとして、これらのモデルは認知バイアスを継承する可能性がある。
  論文  参考訳（メタデータ） (2024-12-04T05:53:28Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Unveiling LLMs: The Evolution of Latent Representations in a Dynamic Knowledge Graph [15.129079475322637]
  この研究は、大規模言語モデルが文レベルのクレーム検証のために内部的に表現する事実情報を明らかにする。 本稿では,トークン表現に埋め込まれた事実知識をベクトル空間から基底述語集合にデコードするエンド・ツー・エンドのフレームワークを提案する。 本フレームワークでは,推論中にトークン表現を変更するベクトルレベル手法であるアクティベーションパッチを用いて,符号化された知識を抽出する。
  論文  参考訳（メタデータ） (2024-04-04T17:45:59Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。