論文の概要: Promote, Suppress, Iterate: How Language Models Answer One-to-Many Factual Queries

• arxiv url: http://arxiv.org/abs/2502.20475v2
• Date: Wed, 05 Mar 2025 13:22:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 12:09:40.525052
• Title: Promote, Suppress, Iterate: How Language Models Answer One-to-Many Factual Queries
• Title（参考訳）: Promote, Suppress, Iterate: 言語モデルが1対多のファクチュアルクエリを答える方法
• Authors: Tianyi Lorena Yan, Robin Jia,
• Abstract要約: 1対多の事実クエリに答えるためには、言語モデル(LM)が同時に知識をリコールし、以前の回答を繰り返すことを避ける必要がある。 複数のデータセットとモデルにまたがって、プロモート・then-suppressメカニズムを特定し、モデルが最初にすべての回答をリコールし、その後に生成されたものを抑圧する。
• 参考スコア（独自算出の注目度）: 21.28307426740275
• License:
• Abstract: To answer one-to-many factual queries (e.g., listing cities of a country), a language model (LM) must simultaneously recall knowledge and avoid repeating previous answers. How are these two subtasks implemented and integrated internally? Across multiple datasets and models, we identify a promote-then-suppress mechanism: the model first recalls all answers, and then suppresses previously generated ones. Specifically, LMs use both the subject and previous answer tokens to perform knowledge recall, with attention propagating subject information and MLPs promoting the answers. Then, attention attends to and suppresses previous answer tokens, while MLPs amplify the suppression signal. Our mechanism is corroborated by extensive experimental evidence: in addition to using early decoding and causal tracing, we analyze how components use different tokens by introducing both Token Lens, which decodes aggregated attention updates from specified tokens, and a knockout method that analyzes changes in MLP outputs after removing attention to specified tokens. Overall, we provide new insights into how LMs' internal components interact with different input tokens to support complex factual recall. Code is available at https://github.com/Lorenayannnnn/how-lms-answer-one-to-many-factual-queries.
• Abstract（参考訳）: 1対多の事実クエリ(例えば、ある国の都市をリストアップするなど)に答えるためには、言語モデル(LM)が同時に知識をリコールし、以前の回答を繰り返すことを避ける必要がある。 この2つのサブタスクはどのように実装され、どのように統合されているか? 複数のデータセットとモデルにまたがって、プロモート・then-suppressメカニズムを特定し、モデルが最初にすべての回答をリコールし、その後に生成されたものを抑圧する。 特に、LMは、被験者と過去の回答トークンの両方を使用して知識リコールを行い、注目が主題情報を伝達し、MLPが回答を促進する。 そして、MLPが抑制信号を増幅する間、注意が前の応答トークンに付き添い、抑制する。 早期復号化と因果トレースに加えて,特定トークンからの注目更新をデコードするToken Lensと,特定トークンへの注意を除去したMLP出力の変化を解析するShockout法の両方を導入して,コンポーネントが異なるトークンをどのように利用するかを分析する。 全体として、複雑なファクトリコールをサポートするために、LMの内部コンポーネントが異なる入力トークンとどのように相互作用するかについて、新たな洞察を提供する。 コードはhttps://github.com/Lorenayannnnn/how-lms-answer-one-to-many-factual-queriesで入手できる。

関連論文リスト

• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction [36.40833517478628]
  大規模な言語モデルでは、更新を最新状態に保つか、あるいは新しいドメインに適応する必要がある。 1つの鍵は、記憶された情報がクエリプロンプトで抽出可能な方法で最新の情報を記憶することである。 微調整中に文書の難易度を最小化しているにもかかわらず、LLMはプロンプト文を通して情報を取り出すのに苦労している。
  論文  参考訳（メタデータ） (2024-02-16T06:29:16Z)
• Summing Up the Facts: Additive Mechanisms Behind Factual Recall in LLMs [1.5571776694273143]
  私たちはこのタスクの最も基本的な形式 – 事実的リコール – に焦点を当てています。 事実的リコールの背後にあるメカニスティックなストーリーは、以前考えられていたよりも複雑であることがわかった。
  論文  参考訳（メタデータ） (2024-02-11T22:58:49Z)
• Uncertainty Guided Global Memory Improves Multi-Hop Question Answering [3.7013865226473848]
  本稿では,まず文書全体からメモリに関連情報を収集し,それをローカルコンテキストと組み合わせてタスクを解く2段階の手法を提案する。 実験結果から, メモリ拡張入力を用いた事前学習モデルの微調整により, モデルの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2023-11-29T23:45:57Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• Dissecting Recall of Factual Associations in Auto-Regressive Language Models [41.71388509750695]
  トランスフォーマーベースの言語モデル(LM)は、それらのパラメータの事実的知識を捉えることで知られている。 モデルが対象と関係に関する情報を集約して正しい属性を予測する方法について検討する。 本研究は, 事実関係の保存・抽出方法の総合的な考察をLMに導入した。
  論文  参考訳（メタデータ） (2023-04-28T11:26:17Z)
• Recitation-Augmented Language Models [85.30591349383849]
  知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。 具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-10-04T00:49:20Z)
• SWAT: Spatial Structure Within and Among Tokens [53.525469741515884]
  我々は,トークン化時に空間構造が保存される場合,モデルが顕著な利得が得られることを論じる。 本研究では,(1)構造認識のトークン化と(2)構造認識のミキシングという2つの重要なコントリビューションを提案する。
  論文  参考訳（メタデータ） (2021-11-26T18:59:38Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• Answer Generation through Unified Memories over Multiple Passages [10.965065178451104]
  GUM-MP(Unified Memories over Multiple Passages)によるニューラル・ソリューション・ジェネレーション(Neural answer Generation)と呼ばれる手法 まず、文中のどのトークンが問題にマッチしているかを決定する。 特に、質問に割り当てられる正の通路のトークンと、質問に関係のない負の通路のトークンの一致を調査する。 最後に、上記2つのマッチング結果と共にトークンシーケンスをトランスファーエンコーダの統一メモリに符号化し、マルチポイントジェネレータ機構を備えたエンコーダデコーダを用いて応答シーケンスを学習する。
  論文  参考訳（メタデータ） (2020-04-22T11:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。