論文の概要: Two Kinds of Recall
- arxiv url: http://arxiv.org/abs/2303.10527v1
- Date: Sun, 19 Mar 2023 01:40:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 18:49:58.949592
- Title: Two Kinds of Recall
- Title(参考訳): 2種類のリコール
- Authors: Yoav Goldberg
- Abstract要約: d-リコール(d-recall)、多様性の反映(diversity)、e-リコール(e-recall)という2種類のリコールがある、と私は主張する。
私は実験を通じて、ニューラルネットワークは実際にd-recallにおいて著しく優れているが、パターンベースの手法が依然としてe-recallにおいてかなり優れている場合があります。
- 参考スコア(独自算出の注目度): 52.940886615390106
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is an established assumption that pattern-based models are good at
precision, while learning based models are better at recall. But is that really
the case? I argue that there are two kinds of recall: d-recall, reflecting
diversity, and e-recall, reflecting exhaustiveness. I demonstrate through
experiments that while neural methods are indeed significantly better at
d-recall, it is sometimes the case that pattern-based methods are still
substantially better at e-recall. Ideal methods should aim for both kinds, and
this ideal should in turn be reflected in our evaluations.
- Abstract(参考訳): パターンベースのモデルは精度が良く、学習ベースのモデルはリコールの精度が良いという確固たる仮定である。
しかし、本当にそうなのか?
d-recall, reflecting diversity, e-recall, reflecting exhaustivenessの2種類があります。
私は実験を通じて、神経メソッドがd-recallでかなり優れているのに対して、パターンベースのメソッドがe-recallでかなり優れている場合もあります。
理想的手法は両方の種類を目標とすべきであり、この理想は我々の評価に反映されるべきである。
関連論文リスト
- Ranking Large Language Models without Ground Truth [24.751931637152524]
大規模言語モデル(LLM)の評価とランキングは,これらのモデルの普及に伴って重要な問題となっている。
我々は、プロンプトのデータセットが与えられた場合、根拠となる真実や参照応答にアクセスせずにそれらをランク付けする、新しい視点を提供する。
この考え方を繰り返し適用し、LLMをランク付けする2つの方法を提案する。
論文 参考訳(メタデータ) (2024-02-21T00:49:43Z) - Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。
また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文 参考訳(メタデータ) (2024-01-11T17:56:59Z) - When Newer is Not Better: Does Deep Learning Really Benefit
Recommendation From Implicit Feedback? [34.04060791716633]
最近のニューラルレコメンデーションモデルと従来のレコメンデーションモデルを、暗黙のデータからトップnのレコメンデーションで比較する。
我々の研究は、推奨されるニューラルモデルの相対的な利点とデメリットを照らす。
論文 参考訳(メタデータ) (2023-05-02T22:03:49Z) - Value-Consistent Representation Learning for Data-Efficient
Reinforcement Learning [105.70602423944148]
本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。
この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。
検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
論文 参考訳(メタデータ) (2022-06-25T03:02:25Z) - Active-learning-based non-intrusive Model Order Reduction [0.0]
本研究では,2つの新奇性を持つ新しいアクティブラーニング手法を提案する。
提案手法の新たな考え方は,システム状態からのワンタイムステップスナップショットの利用である。
また,確率的略正(PAC)学習に基づくユースケース独立型検証戦略も導入する。
論文 参考訳(メタデータ) (2022-04-08T22:33:51Z) - Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。
我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。
結果のアルゴリズム(MnM)は概念的にはGANと似ている。
論文 参考訳(メタデータ) (2021-10-06T13:43:27Z) - On the Theory of Reinforcement Learning with Once-per-Episode Feedback [120.5537226120512]
本稿では,エピソード終盤に一度だけフィードバックを受ける強化学習の理論を紹介する。
これは、学習者が毎回フィードバックを受け取るという従来の要件よりも、現実世界のアプリケーションの代表的です。
論文 参考訳(メタデータ) (2021-05-29T19:48:51Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳(メタデータ) (2020-06-22T15:07:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。