論文の概要: Factual Access States in Diffusion Language Models: From Mechanism to Knowledge Editing and Retrieval

• arxiv url: http://arxiv.org/abs/2610.27580v1
• Date: Tue, 20 Oct 2026 03:45:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.620902
• Title: Factual Access States in Diffusion Language Models: From Mechanism to Knowledge Editing and Retrieval
• Title（参考訳）: 拡散言語モデルにおけるFactual Access States:メカニズムから知識編集・検索まで
• Abstract要約: これを事実上のアクセス状態と呼びます。 自己回帰モデル(AR)では、主観的位置は関係とは独立に属性を豊かにする。 マスク付き拡散言語モデルでは、状態は異なる方法で組み立てられる。
• 参考スコア（独自算出の注目度）: 31.37835690621508
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Factual recall is a lookup: some representation inside the network serves as the key, and what that key is made of decides which queries can retrieve the fact, what an edit must cover, and what a retriever can read. We call it the factual access state. In autoregressive (AR) models the subject position enriches attributes largely independently of the relation, and relation-specific selection happens later, at the readout position. In masked diffusion language models (DLMs) we find the state is assembled differently, and much earlier: in the first attention layer the wording of the relation is routed into the position of whichever entity is visible and the early feed-forward layers look the fact up on this fused representation. The state therefore varies with the relation's surface form and with the query direction, so the queries about one fact occupy a region of state space rather than a point, and an operation on the fact succeeds only for queries that enter it. We treat the state as an interface to a DLM's factual knowledge, and put it to two uses. Writing to the state gives a knowledge editor: from one declarative statement, Multi-View Edit fits one shared value per direction across that region and installs it in the early-MLP block, preserving source-prompt reliability while substantially improving paraphrase and reverse question answering, where AR editors gain near zero. Reading it suggests a complementary use: the state at each entity position can serve as a relation-specific retrieval vector with no training, returning both pieces of evidence for two-entity queries on which pooled, prompted and lexical retrievers almost never return both.
• Abstract（参考訳）: ネットワーク内のいくつかの表現がキーとして機能し、そのキーがどのクエリがどの事実を検索できるか、編集がカバーしなければならないか、検索者が何を読むことができるかを決定する。 これを事実上のアクセス状態と呼びます。 自己回帰(AR)モデルでは、主観的位置は関係とは独立に属性を豊かにし、関係性固有の選択は後に読み出し位置で起こる。 マスク付き拡散言語モデル(DLM)では、状態は異なる、より早く組み立てられる: 第一の注意層では、関係の単語化は、どの実体が見えるかの位置にルーティングされ、初期フィードフォワード層はこの融合表現の事実を見る。 したがって、状態は関係の表面形態とクエリ方向によって異なるため、1つの事実に関するクエリは1点ではなく状態空間の領域を占有し、その事実に関する操作は入力するクエリに対してのみ成功する。 我々は、状態をDLMの事実知識のインターフェースとして扱い、それを2つの用途に当てはめます。 宣言的な1つのステートメントから、Multi-View Editは、そのリージョン全体で1つの共有値に適合し、早期MLPブロックにインストールし、ソースプロンプトの信頼性を保ちながら、パラフレーズとリバース質問応答を大幅に改善し、ARエディタがほぼゼロになる。 それぞれのエンティティ位置にある状態は、トレーニングなしで関係固有の検索ベクタとして機能し、プールされた、トリガーされた、レキシカルなレトリバーが両方を返すことはほとんどありません。

関連論文リスト

• Where Is the "Self" of a Large Language Model? -- From Self-Index to Self-Reference [4.6912701723152095]
  我々は、生物学から親しみやすい2つの機能レベル、すなわち自己インデックスと自己参照を分離する。 我々は、モデル独自のチャットテンプレートでレンダリングされたアシスタント、ユーザ、システムメッセージに同じテキストを配置することで、両方を調査する。 4つのファミリーの8つのオープンウェイトモデルにまたがって、レベルはネストされ、モデルサイズに従わない。
  論文  参考訳（メタデータ） (2026-10-12T12:51:04Z)
• Machine-Interpretable Information: Compiling Documents into Searchable and Readable Protocol States [28.06744741539406]
  本稿では,最初のエージェント・ツー・エージェント(A2A)ドキュメント・ツー・ステートプロトコルであるMII(Machine-Interpretable Information)を紹介する。 デュアルタイムスケールのステートスペース Writer はドキュメントを標準的な固定バンド幅のステート(56トークン)にコンパイルし、軽量のTranslator はそれを冷凍されたReaderの埋め込みスペースにマップする。 結果として得られる.miiアーティファクトは、単一の転送可能な媒体でRetrieval(探索可能な幾何学)、Reasoning(言語記憶)、Reasoning(地下詳細)を統一する。
  論文  参考訳（メタデータ） (2026-09-20T05:43:16Z)
• Language Models use Lookbacks to Track Beliefs [53.8367373163602]
  我々は、因果媒介と抽象化を用いて、キャラクターの信念を推論するLMの能力を分析する。 我々の研究は信念追跡機構の洞察を提供し、LMにおけるToM推論のリバースエンジニアリングに向けた一歩を踏み出した。
  論文  参考訳（メタデータ） (2025-05-20T17:59:45Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Open Domain Question Answering over Virtual Documents: A Unified Approach for Data and Text [62.489652395307914]
  我々は、知識集約型アプリケーションのための構造化知識を符号化する手段として、Data-to-text法、すなわち、オープンドメイン質問応答(QA)を用いる。 具体的には、ウィキペディアとウィキソースの3つのテーブルを付加知識源として使用する、データとテキスト上でのオープンドメインQAのための冗長化-レトリバー・リーダー・フレームワークを提案する。 UDT-QA(Unified Data and Text QA)は,知識インデックスの拡大を効果的に活用できることを示す。
  論文  参考訳（メタデータ） (2021-10-16T00:11:21Z)
• A New Bandit Setting Balancing Information from State Evolution and Corrupted Context [52.67844649650687]
  本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。 任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。 本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-16T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。