論文の概要: Why think step by step? Reasoning emerges from the locality of
experience
- arxiv url: http://arxiv.org/abs/2304.03843v3
- Date: Thu, 2 Nov 2023 20:32:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 18:20:32.064046
- Title: Why think step by step? Reasoning emerges from the locality of
experience
- Title（参考訳）: なぜ一歩ずつ考えるのか?
経験の局所性から推論が現れる
- Authors: Ben Prystawski, Michael Y. Li, Noah D. Goodman
- Abstract要約: 思考の連鎖推論が言語モデルでどのように有用であるかを考察する。
学習データが重複する変数の局所的クラスタで構成される場合,推論が有効であることを示す。
- 参考スコア（独自算出の注目度）: 35.99870462573641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans have a powerful and mysterious capacity to reason. Working through a
set of mental steps enables us to make inferences we would not be capable of
making directly even though we get no additional data from the world.
Similarly, when large language models generate intermediate steps (a chain of
thought) before answering a question, they often produce better answers than
they would directly. We investigate why and how chain-of-thought reasoning is
useful in language models, testing the hypothesis that reasoning is effective
when training data consists of overlapping local clusters of variables that
influence each other strongly. These training conditions enable the chaining of
accurate local inferences to estimate relationships between variables that were
not seen together in training. We prove that there will exist a "reasoning
gap", where reasoning through intermediate variables reduces bias, for the
simple case of an autoregressive density estimator trained on local samples
from a chain-structured probabilistic model. We then test our hypothesis
experimentally in more complex models, training an autoregressive language
model on samples from Bayes nets but only including a subset of variables in
each sample. We test language models' ability to match conditional
probabilities with and without intermediate reasoning steps, finding that
intermediate steps are only helpful when the training data is locally
structured with respect to dependencies between variables. The combination of
locally structured observations and reasoning is much more data-efficient than
training on all variables. Our results illustrate how the effectiveness of
reasoning step by step is rooted in the local statistical structure of the
training data.
- Abstract（参考訳）: 人間は力強く神秘的な能力を持っている。
一連のメンタルステップを通じて作業することで、世界から追加のデータが得られなくても、直接的にできない推論が可能になります。
同様に、大きな言語モデルが質問に答える前に中間のステップ(思考の連鎖)を生成するとき、彼らはしばしば直接に答えるよりもよい答えを生み出す。
言語モデルにおいてなぜ連鎖推論が有用であるかを考察し,学習データ同士が強く影響する変数の重複する局所的クラスタからなる場合,推論が有効であるという仮説を検証した。
これらのトレーニング条件により、正確な局所的推論の連鎖は、トレーニングで一緒に見られなかった変数間の関係を推定することができる。
連鎖構造確率モデルから局所サンプルを用いて学習した自己回帰密度推定器の単純な場合において、中間変数による推論がバイアスを減少させる「推論ギャップ」が存在することを証明している。
次に、より複雑なモデルで実験を行い、ベイズネットのサンプルに対して自己回帰言語モデルを訓練するが、各サンプルに変数のサブセットのみを含む。
言語モデルが条件付き確率と中間的推論ステップとを一致させる能力をテストすると、中間ステップは、変数間の依存関係に関してトレーニングデータが局所的に構造化されている場合にのみ有用であることがわかった。
局所的な構造化された観察と推論の組み合わせは、すべての変数のトレーニングよりもはるかにデータ効率がよい。
本研究は,学習データの局所的統計構造に,段階別推論の有効性が深く根ざしていることを示す。
関連論文リスト
- QUITE: Quantifying Uncertainty in Natural Language Text in Bayesian Reasoning Scenarios [15.193544498311603]
本稿では,カテゴリー的確率変数と複雑な関係を持つ実世界のベイズ推論シナリオのデータセットであるQUITEを提案する。
我々は幅広い実験を行い、論理ベースのモデルが全ての推論型において、アウト・オブ・ボックスの大規模言語モデルより優れていることを発見した。
以上の結果から,ニューロシンボリックモデルが複雑な推論を改善する上で有望な方向であることを示す。
論文 参考訳（メタデータ） (2024-10-14T12:44:59Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳（メタデータ） (2022-07-05T14:55:16Z) - Uncertainty Estimation for Language Reward Models [5.33024001730262]
言語モデルは、テキストコーパスの教師なしトレーニングからさまざまな能力を学ぶことができる。
人間がラベル付きデータを提供するよりも選択肢を選択する方が簡単であり、事前の作業はそのような選好比較から報酬モデルをトレーニングすることで最先端のパフォーマンスを達成した。
能動的学習とリスク-逆強化学習を用いてサンプル効率とロバスト性を向上させる不確実性推定によるこれらの問題に対処することを模索する。
論文 参考訳（メタデータ） (2022-03-14T20:13:21Z) - Impact of Pretraining Term Frequencies on Few-Shot Reasoning [51.990349528930125]
事前学習された言語モデルが、事前学習データにおいてあまり頻度の低い用語でどの程度理にかなっているかを検討する。
我々は,様々な数値推論タスクにおいて,GPTに基づく言語モデルに対して,この相関関係の強さを計測する。
LMは数秒の数値推論タスクにおいて高い性能を示すが,本研究の結果は,事前学習データを超えるモデルが実際にどれだけ一般化されるのかという疑問を提起する。
論文 参考訳（メタデータ） (2022-02-15T05:43:54Z) - Counterfactual Invariance to Spurious Correlations: Why and How to Pass
Stress Tests [87.60900567941428]
素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。
機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。
因果推論ツールを用いたストレステストについて検討した。
論文 参考訳（メタデータ） (2021-05-31T14:39:38Z) - DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。
近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。
提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
論文 参考訳（メタデータ） (2020-10-05T04:19:27Z) - Stable Prediction via Leveraging Seed Variable [73.9770220107874]
従来の機械学習手法は、非因果変数によって誘導されるトレーニングデータにおいて、微妙に刺激的な相関を利用して予測する。
本研究では, 条件付き独立性テストに基づくアルゴリズムを提案し, 種子変数を先行変数とする因果変数を分離し, 安定な予測に採用する。
我々のアルゴリズムは、安定した予測のための最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-06-09T06:56:31Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。