論文の概要: Listen to the Context: Towards Faithful Large Language Models for Retrieval Augmented Generation on Climate Questions

• arxiv url: http://arxiv.org/abs/2505.15633v1
• Date: Wed, 21 May 2025 15:17:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.730234
• Title: Listen to the Context: Towards Faithful Large Language Models for Retrieval Augmented Generation on Climate Questions
• Title（参考訳）: 文脈に耳を傾ける:気候問題における検索支援のための忠実な大規模言語モデルを目指して
• Authors: David Thulke, Jakob Kemmler, Christian Dugast, Hermann Ney,
• Abstract要約: 検索拡張生成を使用する大規模言語モデルは、貴重な知識を解放する可能性がある。 このアプローチは、検索された節を追加の文脈として頼りにすることで、事実の幻覚を軽減するのに役立つ。 この設定において、異なるモデルの忠実度の自動評価について検討する。 我々は,支持原子クレームの30%から57%の忠実度向上を実現するClimateGPT Faithful+を開発した。
• 参考スコア（独自算出の注目度）: 31.7025759960363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models that use retrieval augmented generation have the potential to unlock valuable knowledge for researchers, policymakers, and the public by making long and technical climate-related documents more accessible. While this approach can help alleviate factual hallucinations by relying on retrieved passages as additional context, its effectiveness depends on whether the model's output remains faithful to these passages. To address this, we explore the automatic assessment of faithfulness of different models in this setting. We then focus on ClimateGPT, a large language model specialised in climate science, to examine which factors in its instruction fine-tuning impact the model's faithfulness. By excluding unfaithful subsets of the model's training data, we develop ClimateGPT Faithful+, which achieves an improvement in faithfulness from 30% to 57% in supported atomic claims according to our automatic metric.
• Abstract（参考訳）: 検索拡張現実を用いた大規模言語モデルは、研究者、政策立案者、一般大衆にとって貴重な知識を解き放つ可能性を秘めている。 このアプローチは、検索された節を追加の文脈として頼りにすることで、事実の幻覚を軽減するのに役立つが、その効果は、モデルの出力がこれらの節に忠実であるかどうかに依存する。 そこで本研究では,異なるモデルの忠実度の自動評価について検討する。 次に、気候科学に特化した大規模言語モデルであるClimateGPTに注目し、その指導の微調整がモデルの忠実性にどのような影響を及ぼすかを調べる。 モデルのトレーニングデータの不誠実な部分集合を除外することにより、自動測定値に従って支持原子クレームの30%から57%の忠実度向上を実現するClimateGPT Faithful+を開発する。

関連論文リスト

• ClimateBench-M: A Multi-Modal Climate Data Benchmark with a Simple Generative Method [61.76389719956301]
  我々は、ERA5の時系列気候データ、NOAAの極度の気象イベントデータ、NASAの衛星画像データを調整するマルチモーダル気候ベンチマークであるClimateBench-Mに貢献する。 また,各データモダリティの下では,天気予報,雷雨警報,作物の分断作業において,競争性能を向上できる簡易かつ強力な生成手法を提案する。
  論文  参考訳（メタデータ） (2025-04-10T02:22:23Z)
• Exploring Large Language Models for Climate Forecasting [5.25781442142288]
  大規模言語モデル(LLM)は、複雑な気候データと一般大衆の間のギャップを埋めるための有望なアプローチを示す。 本研究は, 短期(15日) および長期(12カ月) の降雨予測におけるGPT-4の有効性について検討した。
  論文  参考訳（メタデータ） (2024-11-20T21:58:19Z)
• Pointwise Mutual Information as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  文脈と問合せの間のポイントワイドな相互情報は,言語モデルの性能向上に有効な指標であることを示す。 本稿では,文書と質問のポイントワイドな相互情報を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
  気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。 本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
  論文  参考訳（メタデータ） (2024-05-29T23:11:53Z)
• ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change [21.827936253363603]
  本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。 科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。 気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
  論文  参考訳（メタデータ） (2024-01-17T23:29:46Z)
• Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM [77.17254959695218]
  ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
  論文  参考訳（メタデータ） (2023-12-14T22:04:07Z)
• ClimaX: A foundation model for weather and climate [51.208269971019504]
  ClimaXは気象と気候科学のディープラーニングモデルである。 気候データセットの自己教師型学習目標で事前トレーニングすることができる。 気候や気候の様々な問題に対処するために、微調整が可能である。
  論文  参考訳（メタデータ） (2023-01-24T23:19:01Z)
• Towards Answering Climate Questionnaires from Unstructured Climate Reports [26.036105166376284]
  活動家や政策立案者は、巨大で急速に成長する非構造的気候レポートを構造化形式に処理するためにNLPツールを必要としている。 2つの大規模気候調査データセットを導入し、既存の構造を用いて自己教師型モデルを訓練する。 次に、これらのモデルを用いて、人間のパイロット実験において、構造化されていない気候文書からのテキストと半構造化されたアンケートとの整合を支援する。
  論文  参考訳（メタデータ） (2023-01-11T00:22:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。