論文の概要: Racing Thoughts: Explaining Large Language Model Contextualization Errors

• arxiv url: http://arxiv.org/abs/2410.02102v1
• Date: Wed, 2 Oct 2024 23:46:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 08:45:48.555522
• Title: Racing Thoughts: Explaining Large Language Model Contextualization Errors
• Title（参考訳）: Racing Thoughts: 大規模言語モデルのコンテキスト化エラーを説明する
• Authors: Michael A. Lepori, Michael Mozer, Asma Ghandeharioun,
• Abstract要約: 本稿では,この形態の文脈化誤差の説明として,レース条件仮説を提案する。 機械的不可解性から様々な手法を用いて、仮説を支持する相関的および因果的証拠を提供し、それに対処するための推論時間的介入を提案する。
• 参考スコア（独自算出の注目度）: 7.082178210269512
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The profound success of transformer-based language models can largely be attributed to their ability to integrate relevant contextual information from an input sequence in order to generate a response or complete a task. However, we know very little about the algorithms that a model employs to implement this capability, nor do we understand their failure modes. For example, given the prompt "John is going fishing, so he walks over to the bank. Can he make an ATM transaction?", a model may incorrectly respond "Yes" if it has not properly contextualized "bank" as a geographical feature, rather than a financial institution. We propose the LLM Race Conditions Hypothesis as an explanation of contextualization errors of this form. This hypothesis identifies dependencies between tokens (e.g., "bank" must be properly contextualized before the final token, "?", integrates information from "bank"), and claims that contextualization errors are a result of violating these dependencies. Using a variety of techniques from mechanistic intepretability, we provide correlational and causal evidence in support of the hypothesis, and suggest inference-time interventions to address it.
• Abstract（参考訳）: トランスフォーマーベースの言語モデルの大きな成功は、応答の生成やタスクの完了のために、入力シーケンスから関連するコンテキスト情報を統合できることに起因する。 しかし、モデルがこの機能を実装するために採用するアルゴリズムについてはほとんど分かっていないし、それらの障害モードも理解していない。 例えば、「ジョンは釣りに行くので、彼は銀行に歩いて行きます。ATM取引をできますか?」というプロンプトがあると、金融機関ではなく地理的特徴として「銀行」を適切に文脈化していない場合、モデルは誤って「Yes」に応答します。 本稿では,この形態の文脈化誤差を説明するために,LLMレース条件仮説を提案する。 この仮説はトークン間の依存関係(例えば、"bank"は最終トークンの前に適切にコンテキスト化されなければならない)を特定し、"bank"からの情報を統合する。 機械的不可解性から様々な手法を用いて、仮説を支持する相関的および因果的証拠を提供し、それに対処するための推論時間的介入を提案する。

関連論文リスト

• Can Language Models Take A Hint? Prompting for Controllable Contextualized Commonsense Inference [12.941933077524919]
  我々は、文脈化されたコモンセンス推論を強化するデータ拡張手法である"hinting"を導入する。 『Hinting』では、ハードプロンプトとソフトプロンプトを併用して推論プロセスの導出を行う。 この結果から,"隠れ"は文脈コモンセンス推論の性能を損なうことなく,制御性の向上を図っている。
  論文  参考訳（メタデータ） (2024-10-03T04:32:46Z)
• Adversarial Transformer Language Models for Contextual Commonsense Inference [14.12019824666882]
  コモンセンス推論はコヒーレントなコモンセンスアサーションを生成するタスクである。 課題のいくつかは、推測された事実のトピックに対する制御可能性の欠如、トレーニング中の常識知識の欠如である。 我々は、上記の課題に対処する技術を開発する。
  論文  参考訳（メタデータ） (2023-02-10T18:21:13Z)
• APOLLO: A Simple Approach for Adaptive Pretraining of Language Models for Logical Reasoning [73.3035118224719]
  本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。 APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-19T07:40:02Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Modeling Voting for System Combination in Machine Translation [92.09572642019145]
  本稿では,機械翻訳におけるシステムの組み合わせに対する投票のモデル化手法を提案する。 提案手法は,仮説間の関係を解析できるだけでなく,エンドツーエンドのトレーニングを可能にするため,統計的手法とニューラル手法の利点を組み合わせたものである。
  論文  参考訳（メタデータ） (2020-07-14T09:59:38Z)
• CausaLM: Causal Model Explanation Through Counterfactual Language Models [33.29636213961804]
  CausaLMは、対実言語表現モデルを用いた因果モデル説明を作成するためのフレームワークである。 本稿では,BERT のような言語表現モデルが,ある意味ある概念に対する対実表現を効果的に学習できることを示す。 本手法の副産物は,テストされた概念の影響を受けない言語表現モデルである。
  論文  参考訳（メタデータ） (2020-05-27T15:06:35Z)
• Explaining Question Answering Models through Text Generation [42.36596190720944]
  大規模な事前学習言語モデル(LM)は、常識と世界知識を必要とするタスクを微調整するときに驚くほどうまく機能することが示されている。 エンドツーエンドのアーキテクチャで正しい予測ができるような、LMの知識が何であるかを説明するのは難しい。 エンド・ツー・エンドのアーキテクチャに匹敵するパフォーマンスに達するタスクをいくつか示します。
  論文  参考訳（メタデータ） (2020-04-12T09:06:46Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)
• Transformers as Soft Reasoners over Language [33.291806251021185]
  本稿では,事実と規則を自然言語文として提供し,形式表現をバイパスする問題について検討する。 我々は、合成されたデータを用いて、これらの文に対する推論(または推論)をエミュレートするようにトランスフォーマーを訓練する。 RuleTakersと呼ばれる私たちのモデルは、この種の言語に対するソフトな推論が学習可能であるという、最初の実証的なデモンストレーションを提供します。
  論文  参考訳（メタデータ） (2020-02-14T04:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。