論文の概要: Context $\approx$ Environment

• arxiv url: http://arxiv.org/abs/2309.09888v1
• Date: Mon, 18 Sep 2023 15:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 12:29:57.072655
• Title: Context $\approx$ Environment
• Title（参考訳）: 文脈 $\approx$環境
• Authors: Sharut Gupta, Stefanie Jegelka, David Lopez-Paz, Kartik Ahuja
• Abstract要約: AI研究の2行が、AI研究のステージに上がっている。 ひとつは、急激な相関関係を捨てて、新しいテスト環境を構築するモデルを構築することです。 もう1つは、大きな言語が一般化するにつれて一般化することである。
• 参考スコア（独自算出の注目度）: 45.88558331853988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two lines of work are taking the central stage in AI research. On the one hand, the community is making increasing efforts to build models that discard spurious correlations and generalize better in novel test environments. Unfortunately, the bitter lesson so far is that no proposal convincingly outperforms a simple empirical risk minimization baseline. On the other hand, large language models (LLMs) have erupted as algorithms able to learn in-context, generalizing on-the-fly to the eclectic contextual circumstances that users enforce by means of prompting. In this paper, we argue that context $\approx$ environment, and posit that in-context learning holds the key to better domain generalization. Via extensive theory and experiments, we show that paying attention to context$\unicode{x2013}\unicode{x2013}$unlabeled examples as they arrive$\unicode{x2013}\unicode{x2013}$allows our proposed In-Context Risk Minimization (ICRM) algorithm to zoom-in on the test environment risk minimizer, leading to significant out-of-distribution performance improvements. From all of this, two messages are worth taking home. Researchers in domain generalization should consider environment as context, and harness the adaptive power of in-context learning. Researchers in LLMs should consider context as environment to better structure data towards generalization.
• Abstract（参考訳）: 2行の作業がAI研究の中心的な段階にある。 一方、コミュニティは、散発的な相関を破棄し、新しいテスト環境でより良い一般化を行うモデルを構築するための努力を強めている。 残念ながら、これまでの苦しい教訓は、提案が単純な経験的リスク最小化ベースラインを上回っていないことです。 一方,大規模言語モデル (LLMs) は文脈内で学習できるアルゴリズムとして出現し,ユーザがプロンプトによって強制する環境条件へのオンザフライを一般化している。 本稿では、コンテキスト$\approx$環境を議論し、コンテキスト内学習がドメイン一般化の鍵を握っていることを仮定する。 広い理論と実験により、コンテキスト$\unicode{x2013}\unicode{x2013}$unicode{x2013}$labeled examples as they arrive$\unicode{x2013}\unicode{x2013}$allows our proposed In-Context Risk Minimization (ICRM) algorithm to zoom-in on the test environment risk minimalr。 これらから、2つのメッセージは家に帰る価値がある。 ドメイン一般化の研究者は、環境をコンテキストとして考慮し、文脈内学習の適応能力を活用するべきである。 LLMの研究者は、コンテキストを、一般化に向けたデータ構造を改善する環境として考えるべきである。

関連論文リスト

• LeanContext: Cost-Efficient Domain-Specific Question Answering Using LLMs [1.9468358338146958]
  質問応答(QA)は大規模言語モデル(LLM)の重要な応用である 本稿では、人間指向の要約からAIモデルフレンドリーな要約へ移行する。 当社のアプローチであるLeanContextは、クエリと密接に一致したコンテキストから、$k$キー文を効率的に抽出します。
  論文  参考訳（メタデータ） (2023-09-02T06:33:18Z)
• In-Context Learning of Large Language Models Explained as Kernel Regression [57.894689915316945]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネルの回帰の振る舞いと一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• An Adaptive Deep RL Method for Non-Stationary Environments with Piecewise Stable Context [109.49663559151377]
  未知の環境コンテキストへの適応に関する既存の作業は、コンテキストが全エピソードで同じであると仮定するか、コンテキスト変数がマルコフ的であると仮定するかのどちらかである。 本稿では,textittextbfSegmented textbfContext textbfBelief textbfAugmented textbfDeep(SeCBAD) RL法を提案する。 提案手法は,潜在コンテキスト上の信念分布と後方セグメント長とを共同で推定し,観測データを用いたより正確な信念コンテキスト推定を行う。
  論文  参考訳（メタデータ） (2022-12-24T13:43:39Z)
• Tractable Optimality in Episodic Latent MABs [75.17357040707347]
  我々は、エージェントが時間ステップ$H$のエピソードのために環境と対話する、M$遅延コンテキストを持つマルチアームバンディット問題を考える。 エピソードの長さによっては、学習者は遅れた文脈を正確に見積もることができないかもしれない。 我々は、$O(textttpoly(A) + textttpoly(M,H)min(M,H))$インタラクションを用いて、ほぼ最適なポリシーを確実に学習する手順を設計する。
  論文  参考訳（メタデータ） (2022-10-05T22:53:46Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Repeated Environment Inference for Invariant Learning [8.372465442144046]
  ベイズ最適条件ラベル分布が異なる環境において同じである場合、不変表現の概念に焦点を当てる。 従来の作業は、不変リスク最小化(IRM)フレームワークからペナルティ項を最大化することで環境推論(EI)を行う。 本手法は, 合成データセットと実世界のデータセットの両方において, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-26T13:07:22Z)
• Federated Reinforcement Learning with Environment Heterogeneity [30.797692838836277]
  我々は,フェデレート強化学習(FedRL)問題について検討し,エージェントと環境相互作用の過程で収集した軌跡を共有せずに,$n$エージェントがひとつの方針を協調的に学習する。 本稿では,2つの連合RLアルゴリズム, textttQAvg と textttPAvg を提案する。
  論文  参考訳（メタデータ） (2022-04-06T07:21:00Z)
• Provable Domain Generalization via Invariant-Feature Subspace Recovery [18.25619572103648]
  本稿では,不変部分空間回復(ISR)を用いた領域一般化を提案する。 トレーニングIRMとは異なり、アルゴリズムは非変分問題をバイパスし、グローバルコンバージェンスを楽しむ。 さらに、実世界の3つの画像データセットにおいて、ISR-は単純で効果的な後処理法として利用できることを示す。
  論文  参考訳（メタデータ） (2022-01-30T21:22:47Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。