論文の概要: HypRAG: Hyperbolic Dense Retrieval for Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2602.07739v1
- Date: Sun, 08 Feb 2026 00:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-10 20:26:24.785079
- Title: HypRAG: Hyperbolic Dense Retrieval for Retrieval Augmented Generation
- Title(参考訳): HypRAG: 検索用高ボリック高密度検索
- Authors: Hiren Madhu, Ngoc Bui, Ali Maatouk, Leandros Tassiulas, Smita Krishnaswamy, Menglin Yang, Sukanta Ganguly, Kiran Srinivasan, Rex Ying,
- Abstract要約: HyTE-FHとHyTE-Hは、事前訓練されたユークリッド埋め込みを双曲空間に投影する双曲表現である。
外向きアインシュタイン中間点(英: Outward Einstein Midpoint)は、階層構造を確実に保存する幾何学的なプーリング作用素である。
また,本分析により,ハイパボリック表現はノルムに基づく分離によって文書の特異性を符号化することが明らかとなった。
- 参考スコア(独自算出の注目度): 30.711145880382286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embedding geometry plays a fundamental role in retrieval quality, yet dense retrievers for retrieval-augmented generation (RAG) remain largely confined to Euclidean space. However, natural language exhibits hierarchical structure from broad topics to specific entities that Euclidean embeddings fail to preserve, causing semantically distant documents to appear spuriously similar and increasing hallucination risk. To address these limitations, we introduce hyperbolic dense retrieval, developing two model variants in the Lorentz model of hyperbolic space: HyTE-FH, a fully hyperbolic transformer, and HyTE-H, a hybrid architecture projecting pre-trained Euclidean embeddings into hyperbolic space. To prevent representational collapse during sequence aggregation, we introduce the Outward Einstein Midpoint, a geometry-aware pooling operator that provably preserves hierarchical structure. On MTEB, HyTE-FH outperforms equivalent Euclidean baselines, while on RAGBench, HyTE-H achieves up to 29% gains over Euclidean baselines in context relevance and answer relevance using substantially smaller models than current state-of-the-art retrievers. Our analysis also reveals that hyperbolic representations encode document specificity through norm-based separation, with over 20% radial increase from general to specific concepts, a property absent in Euclidean embeddings, underscoring the critical role of geometric inductive bias in faithful RAG systems.
- Abstract(参考訳): 埋め込み幾何は検索の質において基本的な役割を担っているが、検索増強世代(RAG)の密度の高い検索器はユークリッド空間に限られている。
しかし、自然言語はユークリッドの埋め込みが保存できない特定の実体まで幅広い話題から階層構造を示しており、意味的に遠く離れた文書が急激に類似し、幻覚のリスクが増大する。
これらの制約に対処するために、双曲的高密度検索を導入し、双曲空間のローレンツモデルにおけるモデル変種であるHyTE-FHと、事前学習されたユークリッドの埋め込みを双曲空間に投影するハイブリッドアーキテクチャであるHyTE-Hを開発した。
シーケンスアグリゲーション中の表現的崩壊を防止するために,階層構造を確実に保存する幾何認識型プール演算子であるOutward Einstein Midpointを導入する。
MTEBでは、HyTE-FHは同等のユークリッドベースラインを上回り、RAGBenchでは、HyTE-Hは現在の最先端レトリバーよりもかなり小さなモデルを用いて、文脈関連性と回答関連性において、ユークリッドベースラインよりも最大29%向上する。
また,本分析により,標準的分離による文書の特異性を符号化する双曲表現が,一般的な概念から特定の概念への20パーセント以上のラジアルな増加,ユークリッド埋め込みに欠落する性質,忠実なRAGシステムにおける幾何学的帰納的バイアスの批判的役割を裏付けることが明らかとなった。
関連論文リスト
- HyperbolicRAG: Enhancing Retrieval-Augmented Generation with Hyperbolic Representations [11.678218711095269]
グラフベースのRAGは、大きな言語モデルが外部知識にアクセスできるようにする。
本稿では,ハイパーボリック幾何をグラフベースRAGに統合する検索フレームワークであるHyperbolicRAGを提案する。
論文 参考訳(メタデータ) (2025-11-24T06:27:58Z) - Dense Semantic Matching with VGGT Prior [49.42199006453071]
本稿では,VGGTの本質的な強みを,初期の特徴段階を再利用し,後続の特徴段階を微調整し,双方向対応のための意味的頭部を追加することによって維持するアプローチを提案する。
提案手法は, 従来のベースラインよりも優れた幾何認識, 整合性, および多様体保存を実現する。
論文 参考訳(メタデータ) (2025-09-25T14:56:11Z) - HLFormer: Enhancing Partially Relevant Video Retrieval with Hyperbolic Learning [77.434558721499]
部分関連ビデオ検索(PRVR)は、部分コンテンツのみを記述するテキストクエリと、未トリミングされたビデオとをマッチングするという課題に対処する。
本稿は,高次空間学習を利用してユークリッド空間の最適階層的モデリング能力を補う,PRVRのための最初のハイパーボリックモデリングフレームワークであるHLFormerを提案する。
論文 参考訳(メタデータ) (2025-07-23T10:59:46Z) - Achieving Hyperbolic-Like Expressiveness with Arbitrary Euclidean Regions: A New Approach to Hierarchical Embeddings [9.614222676567385]
本稿では,任意の幾何学的領域を埋め込み表現として用いることを支援するフレキシブルユークリッドフレームワークRegDを提案する。
RegDは、領域間の深さに基づく相似性を導入し、双曲幾何学の重要な性質をエミュレートすることで、双曲的表現性を実現する。
実世界の多様なデータセットに対する実証的な評価は、最先端の手法よりも一貫した性能向上を示す。
論文 参考訳(メタデータ) (2025-01-29T09:44:03Z) - From Semantics to Hierarchy: A Hybrid Euclidean-Tangent-Hyperbolic Space Model for Temporal Knowledge Graph Reasoning [1.1372536310854844]
時間的知識グラフ(TKG)推論は、過去のデータに基づいて将来の出来事を予測する。
既存のユークリッドモデルはセマンティクスを捉えるのに優れているが、階層構造に苦しむ。
ユークリッドモデルと双曲モデルの両方の強みを利用する新しいハイブリッド幾何空間アプローチを提案する。
論文 参考訳(メタデータ) (2024-08-30T10:33:08Z) - HRCF: Enhancing Collaborative Filtering via Hyperbolic Geometric
Regularization [52.369435664689995]
HRCF (textitHyperbolic Regularization powered Collaborative Filtering) を導入し,幾何認識型双曲正規化器を設計する。
具体的には、ルートアライメントとオリジン認識ペナルティによる最適化手順を強化する。
提案手法は,双曲的凝集による過度な平滑化問題に対処でき,モデルの識別能力も向上する。
論文 参考訳(メタデータ) (2022-04-18T06:11:44Z) - Hyperbolic Neural Networks++ [66.16106727715061]
ニューラルネットワークの基本成分を1つの双曲幾何モデル、すなわちポアンカーの球モデルで一般化する。
実験により, 従来の双曲成分と比較してパラメータ効率が優れ, ユークリッド成分よりも安定性と性能が優れていた。
論文 参考訳(メタデータ) (2020-06-15T08:23:20Z) - Hyperbolic Manifold Regression [33.40757136529844]
本稿では,多くの機械学習応用の中間要素として,双曲空間上で多様体値回帰を行うという問題を考察する。
本稿では,1)ラベル埋め込みによる階層的分類,2)双曲表現の分類的拡張の2つの課題に対する新しい視点を提案する。
実験の結果,双曲幾何学の活用戦略は有望であることが示唆された。
論文 参考訳(メタデータ) (2020-05-28T10:16:30Z) - APo-VAE: Text Generation in Hyperbolic Space [116.11974607497986]
本稿では,双曲型潜在空間におけるテキスト生成について検討し,連続的な階層表現を学習する。
適応型ポインケア可変オートエンコーダ (APo-VAE) を提示し, ポインケア球上における潜伏変数の事前および変動後部の両方を包み込み正規分布により定義する。
言語モデリングと対話応答生成における実験は,提案したAPo-VAEモデルの有効性を示す。
論文 参考訳(メタデータ) (2020-04-30T19:05:41Z) - Differentiating through the Fr\'echet Mean [51.32291896926807]
フレット平均(Fr'echet mean)はユークリッド平均の一般化である。
任意のリーマン多様体に対して Fr'echet 平均を微分する方法を示す。
これにより、Fr'echet平均を双曲型ニューラルネットワークパイプラインに完全に統合する。
論文 参考訳(メタデータ) (2020-02-29T19:49:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。