論文の概要: In-context Interference in Chat-based Large Language Models

• arxiv url: http://arxiv.org/abs/2309.12727v1
• Date: Fri, 22 Sep 2023 09:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 15:10:31.187593
• Title: In-context Interference in Chat-based Large Language Models
• Title（参考訳）: チャット型大規模言語モデルにおけるコンテキスト内干渉
• Authors: Eric Nuertey Coleman, Julio Hurtado, Vincenzo Lomonaco
• Abstract要約: 大きな言語モデル(LLM)は、その印象的な能力と世界の膨大な知識により、社会に大きな影響を与えた。 ブラックボックスのシナリオでこれらのモデルと対話できるさまざまなアプリケーションやツールが作成されている。 本稿では,このモデルがコンテキスト内を連続的に流れる情報間の干渉にどのように悩まされるかを示し,学習済みの知識を忘れる原因となる。
• 参考スコア（独自算出の注目度）: 8.197259049834038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have had a huge impact on society due to their impressive capabilities and vast knowledge of the world. Various applications and tools have been created that allow users to interact with these models in a black-box scenario. However, one limitation of this scenario is that users cannot modify the internal knowledge of the model, and the only way to add or modify internal knowledge is by explicitly mentioning it to the model during the current interaction. This learning process is called in-context training, and it refers to training that is confined to the user's current session or context. In-context learning has significant applications, but also has limitations that are seldom studied. In this paper, we present a study that shows how the model can suffer from interference between information that continually flows in the context, causing it to forget previously learned knowledge, which can reduce the model's performance. Along with showing the problem, we propose an evaluation benchmark based on the bAbI dataset.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、その印象的な能力と世界の膨大な知識により、社会に大きな影響を与えた。 ブラックボックスのシナリオでこれらのモデルと対話できるさまざまなアプリケーションやツールが作成されている。 しかし、このシナリオの1つの制限は、ユーザがモデルの内部知識を変更できないことである。 この学習プロセスは、コンテキスト内トレーニングと呼ばれ、ユーザの現在のセッションやコンテキストに限定されたトレーニングを指す。 インコンテキスト学習には大きな応用があるが、ほとんど研究されない制限もある。 本稿では,モデルがコンテキスト内を連続的に流れる情報間の干渉に苦しむ可能性を示し,学習済みの知識を忘れた結果,モデルの性能が低下することを示す。 問題を示すとともに,bAbIデータセットに基づく評価ベンチマークを提案する。

関連論文リスト

• Modulating Language Model Experiences through Frictions [56.17593192325438]
  言語モデルの過度な消費は、短期において未確認エラーを伝播し、長期的な批判的思考のために人間の能力を損なうリスクを出力する。 行動科学の介入にインスパイアされた言語モデル体験のための選択的摩擦を提案し,誤用を抑える。
  論文  参考訳（メタデータ） (2024-06-24T16:31:11Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Fine-Tune Language Models as Multi-Modal Differential Equation Solvers [14.181842691371935]
  本稿では,コンテキスト内演算子の学習をマルチモーダルパラダイムに変換する。 特に,近年の大規模言語モデルの成功からインスピレーションを得て,演算子に関する人間の知識を統合するために「カプセル」の使用を提案する。
  論文  参考訳（メタデータ） (2023-08-09T16:44:25Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Differentiable Outlier Detection Enable Robust Deep Multimodal Analysis [20.316056261749946]
  本稿では,明示的な知識グラフを取り入れたエンドツーエンドのビジョンと言語モデルを提案する。 また,暗黙的ネットワーク演算子を用いた対話型アウト・オブ・ディストリビューション・レイヤを導入する。 実際に,視覚的質問応答,視覚的推論,画像テキスト検索など,複数の視覚および言語下流タスクにモデルを適用した。
  論文  参考訳（メタデータ） (2023-02-11T05:46:21Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates [26.527311287924995]
  インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。 制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
  論文  参考訳（メタデータ） (2021-10-07T06:59:46Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。