Fugu-MT 論文翻訳(概要): Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning

論文の概要: Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning

arxiv url: http://arxiv.org/abs/2607.27766v1
Date: Thu, 30 Jul 2026 07:03:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-31 21:37:00.428944
Title: Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning
Title（参考訳）: オンデバイスインコンテキスト学習のためのグラディエントフリータスク記述型検索
Abstract要約: Conditional Retrieval Alignment (CoRA)は、凍結エンコーダをタスク条件付きレトリバーに変換する、勾配のないフレームワークである。出力条件付き適応表現の最適低ランク圧縮は,CoRAのランク制約基底であることを示す。我々は,視覚表現を条件付けと検索空間に組み込むことで,マルチモーダル検索に拡張する。
参考スコア（独自算出の注目度）: 35.54770997926101
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: On-device in-context learning (ICL) relies on pre-inference retrieval to select demonstrations for useful context before downstream model inference. This retrieval must exploit task-specific information while operating over local memories under limited computation, memory, and data-exposure budgets. We propose Conditional Retrieval Alignment (CoRA), a gradient-free framework that converts a frozen encoder into a task-conditioned retriever using paired candidate inputs and outputs. CoRA selects complementary encoder layers, constructs an output-derived conditioning space from candidate memory, and aligns candidate input representations to this space through closed-form ridge regression. Low-rank factorization then produces a compact retrieval basis where candidate outputs are used only during offline index construction, whereas query-time retrieval requires only the query input and precomputed index. We show that CoRA's rank-constrained basis is the optimal low-rank compression of the output-conditioned fitted representation, and derive an exact two-pass streaming construction that avoids materializing the full fitted matrix. We further extend the framework to multimodal exemplar retrieval by incorporating visual representations into the conditioning and retrieval spaces. Experiments across ten textual datasets and four multimodal benchmarks with Llama-3.2-1B, MobileLLM-Pro, OpenFlamingo-3B, and Qwen3.5-2B, as well as end-to-end Raspberry Pi~5 deployment demonstrate that CoRA supports effective task-conditioned retrieval without retriever fine-tuning, backpropagation, or target-model calls.
Abstract（参考訳）: On-Device In-Context Learning (ICL) は、ダウンストリームモデル推論の前に有用なコンテキストのためのデモを選択するために、事前推論検索に依存する。この検索は、限られた計算、メモリ、データ公開予算の下でローカルメモリを操作しながらタスク固有の情報を利用する必要がある。本研究では,凍結したエンコーダを2組の候補入力と出力を用いてタスク条件付きレトリバーに変換する,勾配のないフレームワークであるConditional Retrieval Alignment (CoRA)を提案する。 CoRAは補完的なエンコーダ層を選択し、候補メモリから出力由来の条件空間を構築し、クローズドフォームリッジレグレッションを通じて候補入力表現をこの空間にアライメントする。低ランク因子化は、オフラインインデックス構築時にのみ候補出力が使用されるようなコンパクトな検索ベースを生成するが、クエリ時間検索はクエリ入力と事前計算インデックスのみを必要とする。出力条件付き適応表現の最適低ランク圧縮は、CoRAの階数制約ベースであり、完全適合行列の具体化を避けるための正確な2パスストリーミング構造を導出することを示す。我々はさらに、視覚表現を条件付けと検索空間に組み込むことで、マルチモーダルな例検索に拡張する。 10のテキストデータセットと、Llama-3.2-1B、MobileLLM-Pro、OpenFlamingo-3B、Qwen3.5-2Bによる4つのマルチモーダルベンチマークによる実験、およびエンドツーエンドのRaspberry Pi~5デプロイメントは、CoRAがレトリバーの微調整、バックプロパゲーション、ターゲットモデルコールなしで効果的なタスク条件付き検索をサポートすることを示した。

関連論文リスト

Bridging the Semantic-Utility Gap in Multimodal RAG via Generator-in-the-Loop Alignment [37.61076424435405]
検索拡張世代(RAG)を付加した視覚言語モデル(VLM)は、外部の証拠へのアクセスから恩恵を受ける。標準レトリバーとリランカはユーティリティに答えるよりもセマンティックな類似性を最適化し、好みのギャップを生じさせる。文書レベルの関連アノテーションを使わずにこのギャップを埋める2段階のジェネレータ・イン・ザ・ループアライメントフレームワークを提案する。
論文参考訳（メタデータ） (2026-09-08T03:18:58Z)
Less is More: Lightweight Prompt Compression for Question Answering Applications on Edge Devices [18.557908375073307]
COREは2段階の文レベルのプロンプト圧縮法である。我々はNVIDIA Jetson AGX OrinエッジデバイスとHuawei NovaスマートフォンにCOREを実装した。 COREは最先端のベースラインに比べて少なくとも30.19%精度が向上する。
論文参考訳（メタデータ） (2026-04-27T16:11:28Z)
ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression [5.223477157195793]
中間のロスト」現象は、入力長が大きくなるにつれてランキング品質を低下させる。推論レイテンシは、シーケンス長と超直線的にスケールし、産業展開において非現実的にリストワイズする。 ResRankは、両方の課題を根本的に解決する統合検索格付けフレームワークである。
論文参考訳（メタデータ） (2026-04-24T03:11:51Z)
UniCVR: From Alignment to Reranking for Unified Zero-Shot Composed Visual Retrieval [87.12447641908143]
組込みゼロショット合成ビジュアル検索フレームワークUniCVRを提案する。 UniCVRは、タスク固有の人間アノテーションのない3つのタスクすべてに共同で対処する。ステージIでは,約3.5Mサンプルのキュレートされたデータセットに対して,コントラスト学習によりMLLMを合成クエリ埋め込み器として訓練する。ステージIIでは,少数の上位候補に対して適応的予算付サブセットスコアを付与するMLLM誘導二重レベル再ランク機構を導入する。
論文参考訳（メタデータ） (2026-04-22T08:16:50Z)
Gaussian Match-and-Copy: A Minimalist Benchmark for Studying Transformer Induction [44.83333974000826]
本稿では,2階相関信号による長距離検索を分離するミニマリストベンチマークを提案する。数値的な研究により、このタスクは変換器のマッチング・アンド・コピー回路開発における重要な質的な側面を保っていることが示されている。明示的な技術的条件下での経験的損失を解消するGD軌道に対して,この極大アライメントを証明した。
論文参考訳（メタデータ） (2026-02-07T14:18:11Z)
TeaRAG: A Token-Efficient Agentic Retrieval-Augmented Generation Framework [62.66056331998838]
TeaRAGは、検索内容と推論ステップの両方を圧縮できるトークン効率のエージェントRAGフレームワークである。報奨関数は,過剰な推論ステップをペナルティ化しながら,知識マッチング機構によって知識満足度を評価する。
論文参考訳（メタデータ） (2025-11-07T16:08:34Z)
When Retriever Meets Generator: A Joint Model for Code Comment Generation [3.6781644685120924]
RAGSumは、単一のCodeT5バックボーンを使用して、ヒューズ検索と生成の上に構築されている。対照的な事前学習フェーズは、最寄りの探索のためのコード埋め込みを形作る。最終出力を研磨するために、軽量な自己精製ループが配置される。
論文参考訳（メタデータ） (2025-07-16T18:12:27Z)
Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
論文参考訳（メタデータ） (2025-06-13T18:08:54Z)
Parallel Key-Value Cache Fusion for Position Invariant RAG [55.9809686190244]
大規模言語モデル(LLM)は、コンテキスト内の関連する情報の位置に敏感である。入力コンテキスト順序に関係なく,デコーダのみのモデルに対して一貫した出力を生成するフレームワークを導入する。
論文参考訳（メタデータ） (2025-01-13T17:50:30Z)
OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
論文参考訳（メタデータ） (2024-09-14T07:44:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。