論文の概要: A Statistical Framework for Data-dependent Retrieval-Augmented Models
- arxiv url: http://arxiv.org/abs/2408.15399v1
- Date: Tue, 27 Aug 2024 20:51:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-29 17:42:47.246201
- Title: A Statistical Framework for Data-dependent Retrieval-Augmented Models
- Title（参考訳）: データ依存型検索モデルのための統計的枠組み
- Authors: Soumya Basu, Ankit Singh Rawat, Manzil Zaheer,
- Abstract要約: 最新のMLシステムは、最終的な予測を強化するために、追加の関連情報によって入力インスタンスを増大させる。
本研究では,1)データ依存メトリックを用いて大規模コーパスから関連する情報を識別するエム検索器,2)検索した情報とともに入力インスタンスを消費し最終的な予測を行うエム予測器,の2つのコンポーネントを用いたモデルについて検討する。
- 参考スコア（独自算出の注目度）: 46.781026675083254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern ML systems increasingly augment input instances with additional relevant information to enhance final prediction. Despite growing interest in such retrieval-augmented models, their fundamental properties and training are not well understood. We propose a statistical framework to study such models with two components: 1) a {\em retriever} to identify the relevant information out of a large corpus via a data-dependent metric; and 2) a {\em predictor} that consumes the input instances along with the retrieved information to make the final predictions. We present a principled method for end-to-end training of both components and draw connections with various training approaches in the literature. Furthermore, we establish excess risk bounds for retrieval-augmented models while delineating the contributions of both retriever and predictor towards the model performance. We validate the utility of our proposed training methods along with the key takeaways from our statistical analysis on open domain question answering task where retrieval augmentation is important.
- Abstract（参考訳）: 最新のMLシステムは、最終的な予測を強化するために、追加の関連情報によって入力インスタンスを増大させる。
このような検索強化モデルへの関心が高まっているが、その基本的な性質や訓練はよく理解されていない。
2つのコンポーネントでそのようなモデルを研究するための統計的枠組みを提案する。
1) 大規模コーパスからデータ依存計量を用いて関連情報を識別する検索装置
2) 検索した情報とともに入力インスタンスを消費し、最終的な予測を行う。
本稿では,両コンポーネントのエンドツーエンドトレーニングを原則として提案し,文献における各種トレーニング手法との関係について述べる。
さらに,検索対象モデルに対する過剰なリスクバウンダリを確立するとともに,検索者および予測者のモデル性能に対する貢献を明記する。
提案手法の有効性と,検索強化が重要となるオープン領域質問応答タスクに関する統計的分析から,提案手法の有効性を検証した。
関連論文リスト
- Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。
連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。
提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
論文 参考訳（メタデータ） (2024-08-14T20:14:42Z) - Data Shapley in One Training Run [88.59484417202454]
Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。
既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。
本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
論文 参考訳（メタデータ） (2024-06-16T17:09:24Z) - Towards Better Modeling with Missing Data: A Contrastive Learning-based
Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。
現在のアプローチは、特徴計算とラベル予測に分類される。
本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-18T13:16:24Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳（メタデータ） (2022-07-28T17:36:24Z) - A Visual Analytics Approach to Building Logistic Regression Models and
its Application to Health Records [0.0]
本研究では,高次元データセットにおける回帰モデルの生成,評価,適用のためのオープンな統一手法を提案する。
このアプローチは、属性に対する広い相関パノラマを公開することに基づいており、ユーザーは関連する属性を選択して予測モデルを構築して評価することができる。
我々は、コビッド19やその他の人工的および実際の健康記録データの解析に、我々のフレームワークを応用して、UCRegの有効性と効率を実証する。
論文 参考訳（メタデータ） (2022-01-20T19:53:41Z) - Deep Learning with Multiple Data Set: A Weighted Goal Programming
Approach [2.7393821783237184]
大規模データ分析は、我々の社会でデータが増大するにつれて、指数的な速度で成長している。
ディープラーニングモデルはたくさんのリソースを必要とし、分散トレーニングが必要です。
本稿では,分散学習のためのマルチ基準アプローチを提案する。
論文 参考訳（メタデータ） (2021-11-27T07:10:25Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Adaptive Discrete Smoothing for High-Dimensional and Nonlinear Panel
Data [4.550919471480445]
我々は高次元および非線形パネルデータモデルのためのデータ駆動平滑化手法を開発した。
重みはデータ駆動方式で決定され、対応する関数間の類似性に依存する。
我々は,推定器を用いて予測を大幅に改善できることを示すシミュレーション研究を行った。
論文 参考訳（メタデータ） (2019-12-30T09:50:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。