論文の概要: The Geometry of Knowledge Accessibility in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.03052v1
• Date: Fri, 02 Oct 2026 09:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 09:54:32.247329
• Title: The Geometry of Knowledge Accessibility in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける知識アクセシビリティの幾何学
• Abstract要約: 大規模言語モデル(LLM)には幅広い知識が含まれているが、それら全てに確実にアクセスすることはできない。 本稿では,クエリに必要な知識をモデルから呼び戻すことができるかどうかを記述した知識アクセシビリティを用いて,この問題を考察する。 知識アクセシビリティーは、どの世代よりも前に、モデルがクエリのみを表現しているという単純な幾何学的構造を持つ。
• 参考スコア（独自算出の注目度）: 8.985261743452988
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models (LLMs) contain broad knowledge, but they cannot access all of it reliably. We study this problem through knowledge accessibility, which describes whether the knowledge needed for a query can be recalled from the model. We find that knowledge accessibility has a simple geometric structure in the model's representation of the query alone, before any generation. More accessible queries are closer to a center in the representation space, while less accessible queries are farther away. This geometry reveals a knowledge boundary that separates more accessible queries from less accessible ones. Accessibility consistently decreases with distance from the center, and this distance-based ordering transfers across datasets even when the centers differ. Controlled experiments further show that the centered geometry is more closely related to knowledge accessibility than to reasoning difficulty. The geometry also reveals when different interventions are useful. Query rewriting helps more for accessible queries, chain-of-thought reasoning helps more near the boundary, and retrieval gives larger gains beyond the boundary. These findings not only provide a new geometric view of how knowledge is organized in language models, but also suggest a useful pre-generation signal for adaptive inference.
• Abstract（参考訳）: 大規模言語モデル(LLM)には幅広い知識が含まれているが、それら全てに確実にアクセスすることはできない。 本稿では,クエリに必要な知識がモデルから呼び戻せるかどうかを記述した知識アクセシビリティを用いて,この問題を考察する。 知識アクセシビリティーは、どの世代よりも前に、モデルがクエリのみを表現しているという単純な幾何学的構造を持つ。 よりアクセスしやすいクエリは表現空間の中心に近づき、よりアクセスしやすいクエリは遠く離れている。 この幾何学は、よりアクセスしやすいクエリとあまりアクセスできないクエリを分離する知識境界を明らかにする。 アクセシビリティは中心からの距離によって一貫して減少し、この距離ベースの順序付けは中心が異なる場合でもデータセット間で転送される。 制御された実験により、中心となる幾何学は推論困難よりも知識のアクセシビリティと密接に関連していることが示された。 この幾何学は、異なる介入が有用である場合も明らかにする。 クエリの書き直しは、アクセス可能なクエリに役立ち、チェーンオブ思考の推論は、バウンダリに近づくのに役立つ。 これらの知見は、言語モデルで知識がどのように組織化されているかの新しい幾何学的視点を提供するだけでなく、適応推論に有用な前世代の信号も示唆している。

関連論文リスト

• Geometric-Aware Hypergraph Reasoning for Novel Class Discovery in Point Cloud Segmentation [59.18176055927746]
  クラス間の高次関連をモデル化するハイパーグラフベースのフレームワークを提案する。 既存の手法は、クラス割り当てと新しいクラスの推論にペアワイズアソシエーションに依存している。 本稿では,クラスレベルの幾何学的手がかりの表現性を高めるため,幾何認識型プロトタイプを提案する。
  論文  参考訳（メタデータ） (2026-06-05T13:55:58Z)
• GeoWeaver: Grounding Visual Tokens with Geometric Evidence before Scene Reasoning [45.229974852899716]
  マルチモーダルモデルは、幾何学情報分岐、3D対応の監視、推論段階の融合、ロングホライゾンメモリを含む。 これらのアプローチは通常、幾何学的手がかりをすべての視覚的トークン間の共有信号として扱う。 時間的推論のための表現的前提条件として幾何学を扱うフレームワークであるGeoWeaverを紹介する。
  論文  参考訳（メタデータ） (2026-05-21T14:40:03Z)
• Multi-hop Reasoning and Retrieval in Embedding Space: Leveraging Large Language Models with Knowledge [7.792321858331646]
  埋め込み型検索推論フレームワーク EMBRAG を提案する。 提案手法は,KG推論タスクにおける新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-02-25T23:55:21Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Contri(e)ve: Context + Retrieve for Scholarly Question Answering [0.0]
  本稿では,オープンソースのLarge Language Model (LLM): Scholarly-QALDデータセット用のLlama3.1を提案する。 まず、異なる構造化データソースと非構造化データソースから質問に関連するコンテキストを抽出する。 第2に,LLMの情報検索性能を向上させるために,プロンプトエンジニアリングを実装した。
  論文  参考訳（メタデータ） (2024-09-13T17:38:47Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Knowledge Crosswords: Geometric Knowledge Reasoning with Large Language Models [49.23348672822087]
  構造化された事実制約に縛られた不完全な知識ネットワークからなるベンチマークである知識クロスワードを提案する。 幾何学的知識推論の新しい設定は、既存の原子/線形マルチホップQAを超える新しいLM能力を必要とする。 我々は,既存のLLMと知識クロスワードのアプローチを評価するために,広範囲な実験を行っている。
  論文  参考訳（メタデータ） (2023-10-02T15:43:53Z)
• GeoQA: A Geometric Question Answering Benchmark Towards Multimodal Numerical Reasoning [172.36214872466707]
  我々は、テキスト記述、視覚図、定理知識の包括的理解を必要とする幾何学的問題を解くことに注力する。 そこで本研究では,5,010の幾何学的問題を含む幾何学的質問応答データセットGeoQAを提案する。
  論文  参考訳（メタデータ） (2021-05-30T12:34:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。