論文の概要: Do Large Language Models Know Conflict? Investigating Parametric vs. Non-Parametric Knowledge of LLMs for Conflict Forecasting
- arxiv url: http://arxiv.org/abs/2505.09852v1
- Date: Wed, 14 May 2025 23:24:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-16 22:29:06.133974
- Title: Do Large Language Models Know Conflict? Investigating Parametric vs. Non-Parametric Knowledge of LLMs for Conflict Forecasting
- Title(参考訳): 大規模言語モデルは矛盾を知っているか?-矛盾予測のためのLLMのパラメトリックと非パラメトリック知識の検討
- Authors: Apollinaire Poli Nemkova, Sarath Chandra Lingareddy, Sagnik Ray Choudhury, Mark V. Albert,
- Abstract要約: 大規模言語モデル(LLM)は、自然言語のタスク全体で素晴らしいパフォーマンスを示しているが、暴力的な衝突を予測する能力はいまだに探索されていない。
これは早期警戒システム、人道的計画、政策立案に不可欠である。
我々は、このパラメトリック知識と、LLMがコンフリクトデータセット(例えばACLED、GDELT)から構造化および非構造化されたコンテキストにアクセスし、Retrieval-Augmented Generation (RAG)による最近のニュースレポートを非パラメトリック機能と比較する。
我々の2つの評価枠組みは、アフリカのホーン地方と中東の紛争が発生しやすい地域で2020-2024年にまたがる。
- 参考スコア(独自算出の注目度): 12.092592882142297
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have shown impressive performance across natural language tasks, but their ability to forecast violent conflict remains underexplored. We investigate whether LLMs possess meaningful parametric knowledge-encoded in their pretrained weights-to predict conflict escalation and fatalities without external data. This is critical for early warning systems, humanitarian planning, and policy-making. We compare this parametric knowledge with non-parametric capabilities, where LLMs access structured and unstructured context from conflict datasets (e.g., ACLED, GDELT) and recent news reports via Retrieval-Augmented Generation (RAG). Incorporating external information could enhance model performance by providing up-to-date context otherwise missing from pretrained weights. Our two-part evaluation framework spans 2020-2024 across conflict-prone regions in the Horn of Africa and the Middle East. In the parametric setting, LLMs predict conflict trends and fatalities relying only on pretrained knowledge. In the non-parametric setting, models receive summaries of recent conflict events, indicators, and geopolitical developments. We compare predicted conflict trend labels (e.g., Escalate, Stable Conflict, De-escalate, Peace) and fatalities against historical data. Our findings highlight the strengths and limitations of LLMs for conflict forecasting and the benefits of augmenting them with structured external knowledge.
- Abstract(参考訳): 大規模言語モデル(LLM)は、自然言語のタスクにまたがる顕著なパフォーマンスを示しているが、暴力的な衝突を予測する能力はいまだ探索されていない。
本研究では, LLMが事前訓練した重量で有意なパラメトリック知識を持つか否かを考察し, 外部データなしで紛争エスカレーションや死亡率を予測する。
これは早期警戒システム、人道的計画、政策立案に不可欠である。
我々は、このパラメトリック知識と、LLMがコンフリクトデータセット(例えば、ACLED、GDELT)から構造化・非構造化されたコンテキストにアクセスする非パラメトリック機能と、Retrieval-Augmented Generation (RAG)による最近のニュースレポートを比較した。
外部情報を組み込むことで、事前訓練された重みから逸脱した最新のコンテキストを提供することで、モデルの性能を向上させることができる。
我々の2つの評価枠組みは、アフリカのホーン地方と中東の紛争が発生しやすい地域で2020-2024年にまたがる。
パラメトリック設定では、LLMは事前訓練された知識にのみ依存して、紛争の傾向と死亡率を予測する。
非パラメトリックな設定では、モデルは最近の紛争、指標、地政学的発展の要約を受け取る。
我々は、予測された紛争傾向ラベル(エスカレート、安定紛争、デエスカレート、平和など)と過去のデータに対する死亡率を比較した。
コンフリクト予測におけるLLMの長所と短所, 構造的外部知識による強化のメリットについて検討した。
関連論文リスト
- Analysing the Residual Stream of Language Models Under Knowledge Conflicts [23.96385393039587]
大規模言語モデル(LLM)は、そのパラメータに大量の事実知識を格納することができる。
しかし、それらのパラメトリック知識は、文脈で提供される情報と矛盾する可能性がある。
これは、古い情報や誤った情報への依存など、望ましくないモデル行動を引き起こす可能性がある。
論文 参考訳(メタデータ) (2024-10-21T15:12:51Z) - ECon: On the Detection and Resolution of Evidence Conflicts [56.89209046429291]
大規模言語モデル(LLM)の台頭は意思決定システムにおける情報の質に大きな影響を与えている。
本研究では,実世界の誤情報シナリオをシミュレートするために,多様で検証された証拠衝突を生成する手法を提案する。
論文 参考訳(メタデータ) (2024-10-05T07:41:17Z) - AdaCAD: Adaptively Decoding to Balance Conflicts between Contextual and Parametric Knowledge [57.66282463340297]
知識の衝突は、大きな言語モデルの文脈における情報と、そのパラメータに格納された知識との相違から生じる。
コンフリクトの度合いに基づいて動的に調整の重みを推定する,AdaCADと呼ばれる細粒度なインスタンスレベルのアプローチを提案する。
ADACADは静的コントラストベースラインよりも平均QA精度14.21%(絶対)のデコードベースラインを一貫して上回り、要約の事実性を6.19倍(AlignScore)向上させることを示す。
論文 参考訳(メタデータ) (2024-09-11T16:35:18Z) - LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。
文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。
この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文 参考訳(メタデータ) (2024-04-09T13:08:56Z) - Getting Sick After Seeing a Doctor? Diagnosing and Mitigating Knowledge Conflicts in Event Temporal Reasoning [87.92209048521153]
出来事の時間的推論は、物語から2つ以上の出来事の間の時間的関係を特定することを目的としている。
知識の衝突は、コンテキスト内の事象の実際の時間的関係と、モデルによって学習された事前の知識やバイアスとの間にミスマッチがあるときに起こる。
論文 参考訳(メタデータ) (2023-05-24T10:04:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。