論文の概要: Do Large Language Models Know Conflict? Investigating Parametric vs. Non-Parametric Knowledge of LLMs for Conflict Forecasting
- arxiv url: http://arxiv.org/abs/2505.09852v1
- Date: Wed, 14 May 2025 23:24:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-16 22:29:06.133974
- Title: Do Large Language Models Know Conflict? Investigating Parametric vs. Non-Parametric Knowledge of LLMs for Conflict Forecasting
- Title(参考訳): 大規模言語モデルは矛盾を知っているか?-矛盾予測のためのLLMのパラメトリックと非パラメトリック知識の検討
- Authors: Apollinaire Poli Nemkova, Sarath Chandra Lingareddy, Sagnik Ray Choudhury, Mark V. Albert,
- Abstract要約: 大規模言語モデル(LLM)は、自然言語のタスク全体で素晴らしいパフォーマンスを示しているが、暴力的な衝突を予測する能力はいまだに探索されていない。
これは早期警戒システム、人道的計画、政策立案に不可欠である。
我々は、このパラメトリック知識と、LLMがコンフリクトデータセット(例えばACLED、GDELT)から構造化および非構造化されたコンテキストにアクセスし、Retrieval-Augmented Generation (RAG)による最近のニュースレポートを非パラメトリック機能と比較する。
我々の2つの評価枠組みは、アフリカのホーン地方と中東の紛争が発生しやすい地域で2020-2024年にまたがる。
- 参考スコア(独自算出の注目度): 12.092592882142297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown impressive performance across natural language tasks, but their ability to forecast violent conflict remains underexplored. We investigate whether LLMs possess meaningful parametric knowledge-encoded in their pretrained weights-to predict conflict escalation and fatalities without external data. This is critical for early warning systems, humanitarian planning, and policy-making. We compare this parametric knowledge with non-parametric capabilities, where LLMs access structured and unstructured context from conflict datasets (e.g., ACLED, GDELT) and recent news reports via Retrieval-Augmented Generation (RAG). Incorporating external information could enhance model performance by providing up-to-date context otherwise missing from pretrained weights. Our two-part evaluation framework spans 2020-2024 across conflict-prone regions in the Horn of Africa and the Middle East. In the parametric setting, LLMs predict conflict trends and fatalities relying only on pretrained knowledge. In the non-parametric setting, models receive summaries of recent conflict events, indicators, and geopolitical developments. We compare predicted conflict trend labels (e.g., Escalate, Stable Conflict, De-escalate, Peace) and fatalities against historical data. Our findings highlight the strengths and limitations of LLMs for conflict forecasting and the benefits of augmenting them with structured external knowledge.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自然言語のタスクにまたがる顕著なパフォーマンスを示しているが、暴力的な衝突を予測する能力はいまだ探索されていない。
本研究では, LLMが事前訓練した重量で有意なパラメトリック知識を持つか否かを考察し, 外部データなしで紛争エスカレーションや死亡率を予測する。
これは早期警戒システム、人道的計画、政策立案に不可欠である。
我々は、このパラメトリック知識と、LLMがコンフリクトデータセット(例えば、ACLED、GDELT)から構造化・非構造化されたコンテキストにアクセスする非パラメトリック機能と、Retrieval-Augmented Generation (RAG)による最近のニュースレポートを比較した。
外部情報を組み込むことで、事前訓練された重みから逸脱した最新のコンテキストを提供することで、モデルの性能を向上させることができる。
我々の2つの評価枠組みは、アフリカのホーン地方と中東の紛争が発生しやすい地域で2020-2024年にまたがる。
パラメトリック設定では、LLMは事前訓練された知識にのみ依存して、紛争の傾向と死亡率を予測する。
非パラメトリックな設定では、モデルは最近の紛争、指標、地政学的発展の要約を受け取る。
我々は、予測された紛争傾向ラベル(エスカレート、安定紛争、デエスカレート、平和など)と過去のデータに対する死亡率を比較した。
コンフリクト予測におけるLLMの長所と短所, 構造的外部知識による強化のメリットについて検討した。
関連論文リスト
- FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation [37.28571879699906]
検索システムで強化された大規模言語モデル(LLM)は、知識集約的なタスクを扱う上で大きな可能性を示している。
本稿では,モデルパラメトリック知識と検索コンテキストの相違を明示的にモデル化することにより,知識の対立を解決する新しいフレームワークであるFaithfulRAGを提案する。
論文 参考訳(メタデータ) (2025-06-10T16:02:54Z) - DRAGged into Conflicts: Detecting and Addressing Conflicting Sources in Search-Augmented LLMs [36.47787866482107]
Retrieval Augmented Generation (RAG) は、大規模言語モデルを拡張するための一般的なアプローチである。
本稿では,RAGにおける知識衝突型の新しい分類法を提案する。
次に、現実的なRAG設定で競合タイプの専門家アノテーションを備えた高品質なベンチマークであるCONFLICTSを紹介する。
論文 参考訳(メタデータ) (2025-06-10T06:52:57Z) - What Is Seen Cannot Be Unseen: The Disruptive Effect of Knowledge Conflict on Large Language Models [16.41477610681199]
大規模言語モデルは、しばしばタスクを実行するために文脈入力とパラメトリック知識の両方に依存する。
これらの資料は、特に回収された文書がモデルのパラメトリックな信念と矛盾する場合に矛盾する可能性がある。
本研究では,LLMの動作を文脈記憶の衝突下で体系的に評価する診断フレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-06T19:20:23Z) - Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。
しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。
これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
論文 参考訳(メタデータ) (2024-10-21T15:12:51Z) - ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。
本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
論文 参考訳(メタデータ) (2024-10-05T07:41:17Z) - AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
論文 参考訳(メタデータ) (2024-09-11T16:35:18Z) - Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。
RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。
本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
論文 参考訳(メタデータ) (2024-04-24T17:59:36Z) - LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。
文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。
この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文 参考訳(メタデータ) (2024-04-09T13:08:56Z) - Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning [87.92209048521153]
出来事の時間的推論は、物語から2つ以上の出来事の間の時間的関係を特定することを目的としている。
知識の衝突は、コンテキスト内の事象の実際の時間的関係と、モデルによって学習された事前の知識やバイアスとの間にミスマッチがあるときに起こる。
論文 参考訳(メタデータ) (2023-05-24T10:04:06Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。