論文の概要: Axis-LoRA: Probing and Adapting Embedding Models for Personal-Memory Retrieval

• arxiv url: http://arxiv.org/abs/2611.07820v1
• Date: Thu, 05 Nov 2026 10:59:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.662049
• Title: Axis-LoRA: Probing and Adapting Embedding Models for Personal-Memory Retrieval
• Title（参考訳）: Axis-LoRA: 個人記憶検索のための埋め込みモデルの提案と適応
• Abstract要約: 現在のパーソナルメモリパイプラインは、検索にメモリを埋め込むために、凍結した高密度な埋め込みモデルに依存している。 これらのモデルは4つの軸をうまく捉えていない。 組込みモデル内に4つのLoRA分岐を配置し,これらをクエリーゲートを介して結合する,アクセントごとのアダプタであるAxis-LoRAを提案する。
• 参考スコア（独自算出の注目度）: 18.316749006098885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As LLMs are increasingly asked questions about a user's personal experiences, retrieval must distinguish memories by time, place, person, and event. Current personal-memory pipelines rely on frozen dense embedding models to embed memories for retrieval, but we find that these models do not capture the four axes well. Swapping a memory's date or place barely shifts its embedding, and a trained projection on top of the frozen embedding does not recover the missing signal. The problem lives inside the model, where each axis is encoded by a distinct attention-head pattern. Guided by these findings, we propose Axis-LoRA, a per-axis adapter that places four LoRA branches inside the embedding model and combines them via a per-query gate. Across three standard embedding models evaluated on LongMemEval, ATM-Bench, and LoCoMo, Axis-LoRA improves 4-benchmark mean R@10 by $+1.28$ to $+1.56$~pp while training only a small fraction of the base parameters on a small axis-counterfactual training set. Code is available at https://github.com/dohoonkim-ai/axis-lora.
• Abstract（参考訳）: LLMはユーザの個人的体験に関する質問が増えているため、検索は時間、場所、人、出来事によって記憶を区別しなければならない。 現在のパーソナルメモリパイプラインは、検索のためのメモリを埋め込むために、凍結した密埋め込みモデルに依存していますが、これらのモデルが4つの軸をうまく捉えていないことが分かりました。 メモリの日付や場所をスワップすると、その埋め込みがほとんど変わりません。 問題はモデルの中に存在し、各軸は異なる注意頭パターンによって符号化される。 これらの知見に導かれたAxis-LoRAは、4つのLoRA分岐を埋め込みモデル内に配置し、それらをクエリゲートを介して結合する。 LongMemEval、ATM-Bench、LoCoMoで評価された3つの標準埋め込みモデルにおいて、Axis-LoRAは4ベンチマーク平均R@10を$+1.28$から$+1.56$~ppに改善し、小さな軸数単位のトレーニングセットで基礎パラメータのごく一部しかトレーニングしない。 コードはhttps://github.com/dohoonkim-ai/axis-lora.comで公開されている。

関連論文リスト

• When Do External Priors Help Low-Resource Structured Prediction? A Ranking-Level Alignment Study [3.3448907202559517]
  本稿では,モデルのランキング分布を外部の事前に整合させるモデル非依存の目的であるランキング優先(RPA)について検討する。 クロスサンプルツリーアライメントでは、高額の教師がノーアライメントベースラインに対して$+0.028$AUCを得る。 バグ内のMILアテンションアライメントでは、同じ高額の教師が何も転送しない。
  論文  参考訳（メタデータ） (2026-10-08T03:11:02Z)
• LoGRA: Scaling LLM Reinforcement Learning with Low-Rank Gradient Sketches [56.66032629722664]
  LoGRAはRLポストトレーニングのアプローチであり、低ランク勾配スケッチで有用な学習信号を保持することでメモリを削減している。 LoGRAは、パフォーマンスを損なうことなく推論タスクの平均トレーニングメモリ使用量を最大45.7%削減する。
  論文  参考訳（メタデータ） (2026-10-05T16:28:11Z)
• Benchmarking Vision-Language Models on Synapse Detection and Proofreading in Connectomics [58.333975726458334]
  我々は、電子顕微鏡画像のコネクトロミクスにおける検査において、アノテータが取る決定について、視覚言語モデル(VLM)をベンチマークした。 シナプス検出には, 様々なアーキテクチャ, サイズにまたがる19のオープンモデルと2つのクローズドモデルを評価した。 検証のために,ConnectomeBench2データセット上で3つのオープンモデルと2つのクローズドモデルを評価した。
  論文  参考訳（メタデータ） (2026-09-29T01:48:42Z)
• MolmoAct2: Action Reasoning Models for Real-world Deployment [67.6315757474802]
  MolmoAct2は、実用的なデプロイメントのために構築された、完全にオープンなアクション推論モデルである。 空間的および具体的推論に特化した VLM バックボーンである MolmoER を紹介する。 低コストプラットフォームにまたがる3つの新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2026-05-04T17:51:21Z)
• Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods [0.0]
  凍結した言語モデルにおける永続メモリは、厳しいリソース制約の下でも実現可能であることを示す。 3つのインジェクションポイントと4つの書き込みメカニズムにまたがる6つのアーキテクチャ手法を実装した。 我々は、大規模モデル、大規模データ、大規模メモリによる完全なエンドツーエンドトレーニングが、より強力な結果をもたらすと論じている。
  論文  参考訳（メタデータ） (2026-03-17T11:51:21Z)
• Diffusion Language Models are Super Data Learners [61.721441061210896]
  ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。 本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
  論文  参考訳（メタデータ） (2025-11-05T08:17:42Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Cross-LoRA: A Data-Free LoRA Transfer Framework across Heterogeneous LLMs [10.218401136555064]
  Cross-LoRAは、さまざまなベースモデル間でLoRAモジュールを転送するためのフレームワークである。 実験の結果、クロスロラはベースモデルよりも5.26%の相対的なゲインを達成している。
  論文  参考訳（メタデータ） (2025-08-07T10:21:08Z)
• Train Small, Infer Large: Memory-Efficient LoRA Training for Large Language Models [23.442612142677504]
  Low-Rank Adaption (LoRA)は、大規模言語モデルに対してコスト効率の良い微調整ソリューションを提供する。 しかし、LoRAのメモリフットプリントは、主にオリジナルのモデルパラメータに支配されている。 メモリ効率のよいLoRA学習手法であるLoRAMを提案する。
  論文  参考訳（メタデータ） (2025-02-19T08:39:15Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  理論的導出に基づく新しい微調整法であるLoRA-XSを紹介する。 LoRA-XSは、小さくてトレーニング可能な重量行列を組み込むことで、トレーニング可能なパラメータを劇的に削減する。 モジュールごとにひとつのパラメータから任意の大きな値にスケールでき、任意のストレージや計算の制約に適応できる。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints [59.39280540478479]
  密なチェックポイントから疎活性化されたMixture-of-Expertsモデルを初期化することにより、サンクトレーニングコストを再利用する簡単な方法であるスパースアップサイクリングを提案する。 我々は, 比較的高サイクルなT5 Base, Large, XL言語モデル, Vision Transformer Base と Large モデルが, SuperGLUE と ImageNet の高密度モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-09T18:57:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。