論文の概要: Maximally-Informative Retrieval for State Space Model Generation

• arxiv url: http://arxiv.org/abs/2506.12149v1
• Date: Fri, 13 Jun 2025 18:08:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.297932
• Title: Maximally-Informative Retrieval for State Space Model Generation
• Title（参考訳）: 状態空間モデル生成のための最大インフォーマル検索法
• Authors: Evan Becker, Benjamin Bowman, Matthew Trager, Tian Yu Liu, Luca Zancato, Wei Xia, Stefano Soatto,
• Abstract要約: テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
• 参考スコア（独自算出の注目度）: 59.954191072042526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given a query and dataset, the optimal way of answering the query is to make use all the information available. Modern LLMs exhibit impressive ability to memorize training data, but data not deemed important during training is forgotten, and information outside that training set cannot be made use of. Processing an entire dataset at inference time is infeasible due to the bounded nature of model resources (e.g. context size in transformers or states in state space models), meaning we must resort to external memory. This constraint naturally leads to the following problem: How can we decide based on the present query and model, what among a virtually unbounded set of known data matters for inference? To minimize model uncertainty for a particular query at test-time, we introduce Retrieval In-Context Optimization (RICO), a retrieval method that uses gradients from the LLM itself to learn the optimal mixture of documents for answer generation. Unlike traditional retrieval-augmented generation (RAG), which relies on external heuristics for document retrieval, our approach leverages direct feedback from the model. Theoretically, we show that standard top-$k$ retrieval with model gradients can approximate our optimization procedure, and provide connections to the leave-one-out loss. We demonstrate empirically that by minimizing an unsupervised loss objective in the form of question perplexity, we can achieve comparable retriever metric performance to BM25 with \emph{no finetuning}. Furthermore, when evaluated on quality of the final prediction, our method often outperforms fine-tuned dense retrievers such as E5.
• Abstract（参考訳）: クエリとデータセットが与えられた場合、クエリに答える最適な方法は、すべての情報を利用できるようにすることだ。 現代のLSMは、トレーニングデータを記憶する素晴らしい能力を示すが、トレーニング中に重要でないと考えられるデータは忘れられ、トレーニングセット以外の情報は利用できない。 モデルリソースのバウンダリの性質(例えば、トランスフォーマーのコンテキストサイズや状態空間モデルの状態)のため、推論時にデータセット全体を処理することは不可能です。 この制約が自然に次の問題を引き起こす: 現在のクエリとモデルに基づいてどうやって決定できるのか。 テスト時の特定のクエリに対するモデルの不確実性を最小化するために,LLM自体からの勾配を用いて解を生成する検索手法であるRetrieval In-Context Optimization (RICO)を導入する。 文書検索に外部ヒューリスティックに依存する従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 理論的には、モデル勾配を用いた標準のk$検索は、最適化手順を近似し、残余損失への接続を提供する。 我々は、教師なし損失目標を質問パープレキシティの形で最小化することにより、'emph{no finetuning} を用いて、BM25 に匹敵するレトリバーメトリックのパフォーマンスを達成できることを実証的に実証した。 さらに, 最終予測の精度を評価した場合, E5 などの細調整された高密度検索器よりも優れることが多い。

関連論文リスト

• Causal LLM Routing: End-to-End Regret Minimization from Observational Data [3.3580884064577616]
  LLMルーティングは、クエリ毎に最も適切なモデルを選択することを目的としている。 従来のアプローチでは、メトリクスを最初に予測し、モデルがこれらの見積に基づいて選択される、分離された戦略が一般的だった。 観測データから意思決定の後悔を最小化してルーティングポリシーを学習する因果的エンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T21:34:18Z)
• Teaching Dense Retrieval Models to Specialize with Listwise Distillation and LLM Data Augmentation [43.81779293196647]
  標準的な微調整手法は、ドメイン固有のシナリオであっても、改善するよりも、予想外に効率を低下させる可能性があることを示す。 そこで我々は,教師のクロスエンコーダからリストワイズを抽出し,リッチな関連信号を利用して学習者を微調整する訓練戦略を検討する。 また,本研究の結果から,合成クエリはトレーニングユーティリティにおいて人書きクエリと競合する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-02-27T03:07:49Z)
• DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks [40.91931801667421]
  本稿では, ベイズ最適化を用いたデータ選択手法として, 影響関数をインターリーブし, 特定の未確認評価タスクからのフィードバックによるデータ混合を最適化する, グローバル・ローカルなアルゴリズムを提案する。 DUETの累積的後悔を解析することにより、DUETはタスクに関するデータ知識がなくても、見えないタスクに対して最適なトレーニングデータ混合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-01T01:52:32Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
  AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• S^3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization [104.87483578308526]
  本稿では,シーケンスレコメンデーションのための自己改善学習のためのモデルS3-Recを提案する。 そこで本稿では,属性,項目,サブシーケンス,シーケンス間の相関関係を学習するために,4つの補助的自己教師対象を考案する。 6つの実世界のデータセットで実施された大規模な実験は、既存の最先端手法よりも提案手法が優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T11:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。