論文の概要: Tell, don't show: Declarative facts influence how LLMs generalize
- arxiv url: http://arxiv.org/abs/2312.07779v1
- Date: Tue, 12 Dec 2023 22:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 17:24:31.666827
- Title: Tell, don't show: Declarative facts influence how LLMs generalize
- Title(参考訳): 宣言的事実はllmの一般化に影響を与えます
- Authors: Alexander Meinke and Owain Evans
- Abstract要約: 大規模言語モデルが学習データにおける抽象的宣言文からどのように一般化するかを検討する。
宣言文$S$の微調整は、$S$の論理結果のモデル可能性を高める。
宣言的ステートメントの効果は、AIアシスタントの整列、天気予報、人口統計学的特徴の予測という3つの領域で一致している。
- 参考スコア(独自算出の注目度): 61.664804022944104
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We examine how large language models (LLMs) generalize from abstract
declarative statements in their training data. As an illustration, consider an
LLM that is prompted to generate weather reports for London in 2050. One
possibility is that the temperatures in the reports match the mean and variance
of reports from 2023 (i.e. matching the statistics of pretraining). Another
possibility is that the reports predict higher temperatures, by incorporating
declarative statements about climate change from scientific papers written in
2023. An example of such a declarative statement is "global temperatures will
increase by $1^{\circ} \mathrm{C}$ by 2050".
To test the influence of abstract declarative statements, we construct tasks
in which LLMs are finetuned on both declarative and procedural information. We
find that declarative statements influence model predictions, even when they
conflict with procedural information. In particular, finetuning on a
declarative statement $S$ increases the model likelihood for logical
consequences of $S$. The effect of declarative statements is consistent across
three domains: aligning an AI assistant, predicting weather, and predicting
demographic features. Through a series of ablations, we show that the effect of
declarative statements cannot be explained by associative learning based on
matching keywords. Nevertheless, the effect of declarative statements on model
likelihoods is small in absolute terms and increases surprisingly little with
model size (i.e. from 330 million to 175 billion parameters). We argue that
these results have implications for AI risk (in relation to the "treacherous
turn") and for fairness.
- Abstract(参考訳): 大規模言語モデル(LLM)が学習データの抽象的宣言文からどのように一般化するかを検討する。
例として、2050年にロンドンで天気予報を発行するLLMについて考えてみましょう。
一つの可能性は、報告書の温度が2023年の報告書の平均とばらつきと一致している(即ち事前訓練の統計と一致)。
もう一つの可能性は、2023年に書かれた科学論文から気候変動に関する宣言的な声明を取り入れることで、より高い気温を予測することである。
An example of such a declarative statement is "global temperatures will increase by $1^{\circ} \mathrm{C}$ by 2050". To test the influence of abstract declarative statements, we construct tasks in which LLMs are finetuned on both declarative and procedural information. We find that declarative statements influence model predictions, even when they conflict with procedural information. In particular, finetuning on a declarative statement $S$ increases the model likelihood for logical consequences of $S$. The effect of declarative statements is consistent across three domains: aligning an AI assistant, predicting weather, and predicting demographic features. Through a series of ablations, we show that the effect of declarative statements cannot be explained by associative learning based on matching keywords. Nevertheless, the effect of declarative statements on model likelihoods is small in absolute terms and increases surprisingly little with model size (i.e. from 330 million to 175 billion parameters). We argue that these results have implications for AI risk (in relation to the "treacherous turn") and for fairness.
関連論文リスト
- A Hypothesis-Driven Framework for the Analysis of Self-Rationalising
Models [0.8702432681310401]
我々はベイジアンネットワークを用いて、タスクの解決方法に関する仮説を実装している。
結果のモデルはGPT-3.5と強い類似性は示さない。
今後の作業において、LCM決定をよりよく近似するフレームワークの可能性だけでなく、これの意味についても論じる。
論文 参考訳(メタデータ) (2024-02-07T12:26:12Z) - Can Large Language Models Infer Causation from Correlation? [104.96351414570239]
大規模言語モデル(LLM)の純粋因果推論スキルをテストする。
相関文の集合を取り、変数間の因果関係を決定する新しいタスクCorr2Causeを定式化する。
これらのモデルがタスクのランダムな性能にほぼ近い結果が得られることを示す。
論文 参考訳(メタデータ) (2023-06-09T12:09:15Z) - Iterative Partial Fulfillment of Counterfactual Explanations: Benefits
and Risks [2.7793394375935088]
ファクトファクト(CF)の説明は、高い領域で機械学習モデルを説明するのに人気がある。
CFの説明を受けると、被験者は新たな予測を下す前に部分的に満たすだけでよいことを示す。
数学的にIPFを定式化し、理論的にも経験的にも、異なるCFアルゴリズムがIPFの下で大きく異なる振る舞いを示すことを示す。
論文 参考訳(メタデータ) (2023-03-17T14:41:09Z) - Counterfactual reasoning: Do language models need world knowledge for
causal understanding? [11.393681326784849]
我々は、様々な人気のある事前学習言語モデルから、対実予測を探索する。
私たちは、モデルが反現実的なシナリオにおいて、現実世界の知識を一貫してオーバーライドできることに気付きました。
また、ほとんどのモデルでは、この効果は主に単純な語彙的手がかりによって駆動されるように見える。
論文 参考訳(メタデータ) (2022-12-06T19:22:25Z) - IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal
Triplets via Pre-trained Autoregressive Language Model [3.4423596432619754]
本稿では,CASE-2022 における Subtask 2 に対するタスクの共有提案,Casual News Corpus を用いたイベント因果同定について述べる。
この課題は、ニュースメディアから文中のすべての因果効果信号スパンを自動的に検出することに焦点を当てた。
我々は、事前訓練された自己回帰言語モデルであるT5を用いて、文中の因果効果信号スパンを検出する。
論文 参考訳(メタデータ) (2022-09-08T15:54:25Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-06T17:57:58Z) - Counterfactual Invariance to Spurious Correlations: Why and How to Pass
Stress Tests [87.60900567941428]
素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。
機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。
因果推論ツールを用いたストレステストについて検討した。
論文 参考訳(メタデータ) (2021-05-31T14:39:38Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - $PredDiff$: Explanations and Interactions from Conditional Expectations [0.3655021726150368]
preddiff$ は確率論に根ざしたモデルに依存しない局所帰属法である。
本研究では,$preddiff$の特性を明確にし,元の形式的拡張をいくつか提示する。
論文 参考訳(メタデータ) (2021-02-26T14:46:47Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳(メタデータ) (2020-11-04T10:25:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。