論文の概要: Tell, don't show: Declarative facts influence how LLMs generalize

• arxiv url: http://arxiv.org/abs/2312.07779v1
• Date: Tue, 12 Dec 2023 22:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 17:24:31.666827
• Title: Tell, don't show: Declarative facts influence how LLMs generalize
• Title（参考訳）: 宣言的事実はllmの一般化に影響を与えます
• Authors: Alexander Meinke and Owain Evans
• Abstract要約: 大規模言語モデルが学習データにおける抽象的宣言文からどのように一般化するかを検討する。 宣言文$S$の微調整は、$S$の論理結果のモデル可能性を高める。 宣言的ステートメントの効果は、AIアシスタントの整列、天気予報、人口統計学的特徴の予測という3つの領域で一致している。
• 参考スコア（独自算出の注目度）: 61.664804022944104
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We examine how large language models (LLMs) generalize from abstract declarative statements in their training data. As an illustration, consider an LLM that is prompted to generate weather reports for London in 2050. One possibility is that the temperatures in the reports match the mean and variance of reports from 2023 (i.e. matching the statistics of pretraining). Another possibility is that the reports predict higher temperatures, by incorporating declarative statements about climate change from scientific papers written in 2023. An example of such a declarative statement is "global temperatures will increase by $1^{\circ} \mathrm{C}$ by 2050". To test the influence of abstract declarative statements, we construct tasks in which LLMs are finetuned on both declarative and procedural information. We find that declarative statements influence model predictions, even when they conflict with procedural information. In particular, finetuning on a declarative statement $S$ increases the model likelihood for logical consequences of $S$. The effect of declarative statements is consistent across three domains: aligning an AI assistant, predicting weather, and predicting demographic features. Through a series of ablations, we show that the effect of declarative statements cannot be explained by associative learning based on matching keywords. Nevertheless, the effect of declarative statements on model likelihoods is small in absolute terms and increases surprisingly little with model size (i.e. from 330 million to 175 billion parameters). We argue that these results have implications for AI risk (in relation to the "treacherous turn") and for fairness.
• Abstract（参考訳）: 大規模言語モデル(LLM)が学習データの抽象的宣言文からどのように一般化するかを検討する。 例として、2050年にロンドンで天気予報を発行するLLMについて考えてみましょう。 一つの可能性は、報告書の温度が2023年の報告書の平均とばらつきと一致している(即ち事前訓練の統計と一致)。 もう一つの可能性は、2023年に書かれた科学論文から気候変動に関する宣言的な声明を取り入れることで、より高い気温を予測することである。 An example of such a declarative statement is "global temperatures will increase by $1^{\circ} \mathrm{C}$ by 2050". To test the influence of abstract declarative statements, we construct tasks in which LLMs are finetuned on both declarative and procedural information. We find that declarative statements influence model predictions, even when they conflict with procedural information. In particular, finetuning on a declarative statement $S$ increases the model likelihood for logical consequences of $S$. The effect of declarative statements is consistent across three domains: aligning an AI assistant, predicting weather, and predicting demographic features. Through a series of ablations, we show that the effect of declarative statements cannot be explained by associative learning based on matching keywords. Nevertheless, the effect of declarative statements on model likelihoods is small in absolute terms and increases surprisingly little with model size (i.e. from 330 million to 175 billion parameters). We argue that these results have implications for AI risk (in relation to the "treacherous turn") and for fairness.

関連論文リスト

• Fact Recall, Heuristics or Pure Guesswork? Precise Interpretations of Language Models for Fact Completion [9.383571944693188]
  本研究では,LMが異なる振る舞いを示すことを期待できる4つの異なる予測シナリオについて検討する。 本稿では,各シナリオを例に,データセット構築のためのPrISMというモデル固有のレシピを提案する。 それぞれのシナリオに対してCTは異なる結果を生成するが、混合例の集合上の集約は、最強の計測信号によるシナリオの結果のみを表すことができる。
  論文  参考訳（メタデータ） (2024-10-18T12:08:07Z)
• Counterfactual Causal Inference in Natural Language with Large Language Models [9.153187514369849]
  本稿では,自然言語からの因果構造発見と因果推論手法を提案する。 まず LLM を用いてテキストデータからインスタンス化された因果変数を抽出し,因果グラフを構築する。 次に、推定されたグラフに対して反実数推論を行う。
  論文  参考訳（メタデータ） (2024-10-08T21:53:07Z)
• Using LLMs for Explaining Sets of Counterfactual Examples to Final Users [0.0]
  自動意思決定シナリオでは、因果推論手法は基礎となるデータ生成プロセスを分析することができる。 カウンターファクトな例では、最小限の要素が変更される仮説的なシナリオを探求する。 本稿では,アクションの自然言語説明を生成するために,反事実を用いた新しい多段階パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-27T15:13:06Z)
• Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
  大規模言語モデル(LLM)の純粋因果推論スキルをテストする。 相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。 これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-09T12:09:15Z)
• Counterfactual reasoning: Do language models need world knowledge for causal understanding? [11.393681326784849]
  我々は、様々な人気のある事前学習言語モデルから、対実予測を探索する。 私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。 また、ほとんどのモデルでは、この効果は主に単純な語彙的手がかりによって駆動されるように見える。
  論文  参考訳（メタデータ） (2022-12-06T19:22:25Z)
• IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model [3.4423596432619754]
  本稿では,CASE-2022 における Subtask 2 に対するタスクの共有提案,Casual News Corpus を用いたイベント因果同定について述べる。 この課題は、ニュースメディアから文中のすべての因果効果信号スパンを自動的に検出することに焦点を当てた。 我々は、事前訓練された自己回帰言語モデルであるT5を用いて、文中の因果効果信号スパンを検出する。
  論文  参考訳（メタデータ） (2022-09-08T15:54:25Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。