論文の概要: Context $\approx$ Environment

• arxiv url: http://arxiv.org/abs/2309.09888v1
• Date: Mon, 18 Sep 2023 15:51:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 12:29:57.072655
• Title: Context $\approx$ Environment
• Title（参考訳）: 文脈 $\approx$環境
• Authors: Sharut Gupta, Stefanie Jegelka, David Lopez-Paz, Kartik Ahuja
• Abstract要約: AI研究の2行が、AI研究のステージに上がっている。 ひとつは、急激な相関関係を捨てて、新しいテスト環境を構築するモデルを構築することです。 もう1つは、大きな言語が一般化するにつれて一般化することである。
• 参考スコア（独自算出の注目度）: 45.88558331853988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Two lines of work are taking the central stage in AI research. On the one hand, the community is making increasing efforts to build models that discard spurious correlations and generalize better in novel test environments. Unfortunately, the bitter lesson so far is that no proposal convincingly outperforms a simple empirical risk minimization baseline. On the other hand, large language models (LLMs) have erupted as algorithms able to learn in-context, generalizing on-the-fly to the eclectic contextual circumstances that users enforce by means of prompting. In this paper, we argue that context $\approx$ environment, and posit that in-context learning holds the key to better domain generalization. Via extensive theory and experiments, we show that paying attention to context$\unicode{x2013}\unicode{x2013}$unlabeled examples as they arrive$\unicode{x2013}\unicode{x2013}$allows our proposed In-Context Risk Minimization (ICRM) algorithm to zoom-in on the test environment risk minimizer, leading to significant out-of-distribution performance improvements. From all of this, two messages are worth taking home. Researchers in domain generalization should consider environment as context, and harness the adaptive power of in-context learning. Researchers in LLMs should consider context as environment to better structure data towards generalization.
• Abstract（参考訳）: 2行の作業がAI研究の中心的な段階にある。 一方、コミュニティは、散発的な相関を破棄し、新しいテスト環境でより良い一般化を行うモデルを構築するための努力を強めている。 残念ながら、これまでの苦しい教訓は、提案が単純な経験的リスク最小化ベースラインを上回っていないことです。 一方,大規模言語モデル (LLMs) は文脈内で学習できるアルゴリズムとして出現し,ユーザがプロンプトによって強制する環境条件へのオンザフライを一般化している。 本稿では、コンテキスト$\approx$環境を議論し、コンテキスト内学習がドメイン一般化の鍵を握っていることを仮定する。 広い理論と実験により、コンテキスト$\unicode{x2013}\unicode{x2013}$unicode{x2013}$labeled examples as they arrive$\unicode{x2013}\unicode{x2013}$allows our proposed In-Context Risk Minimization (ICRM) algorithm to zoom-in on the test environment risk minimalr。 これらから、2つのメッセージは家に帰る価値がある。 ドメイン一般化の研究者は、環境をコンテキストとして考慮し、文脈内学習の適応能力を活用するべきである。 LLMの研究者は、コンテキストを、一般化に向けたデータ構造を改善する環境として考えるべきである。

関連論文リスト

• Enhancing Contextual Understanding in Large Language Models through Contrastive Decoding [9.2433070542025]
  大規模言語モデル(LLM)は、テキスト生成時に入力コンテキストを不適切に統合する傾向がある。 本稿では, 逆無関係なパスを負のサンプルとして, コントラストデコーディングを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-04T20:38:41Z)
• Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning [4.902544998453533]
  環境の重力レベルなどの文脈的手がかりの理解と活用は、堅牢な一般化に不可欠である。 提案アルゴリズムは, 様々なシミュレートされた領域における一般化を改良し, ゼロショット設定における事前の文脈学習技術より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-15T07:31:48Z)
• Understanding What Affects Generalization Gap in Visual Reinforcement Learning: Theory and Empirical Evidence [58.46374479945535]
  本稿では,テスト環境に障害がある場合の一般化ギャップに寄与する要因について理論的に考察する。 我々の理論は、人間の直観に沿う訓練環境とテスト環境の表現距離を最小化することが、一般化のギャップを減らすことの利点として最も重要であることを示唆している。
  論文  参考訳（メタデータ） (2024-02-05T03:27:52Z)
• An Adaptive Deep RL Method for Non-Stationary Environments with Piecewise Stable Context [109.49663559151377]
  未知の環境コンテキストへの適応に関する既存の作業は、コンテキストが全エピソードで同じであると仮定するか、コンテキスト変数がマルコフ的であると仮定するかのどちらかである。 本稿では,textittextbfSegmented textbfContext textbfBelief textbfAugmented textbfDeep(SeCBAD) RL法を提案する。 提案手法は,潜在コンテキスト上の信念分布と後方セグメント長とを共同で推定し,観測データを用いたより正確な信念コンテキスト推定を行う。
  論文  参考訳（メタデータ） (2022-12-24T13:43:39Z)
• Repeated Environment Inference for Invariant Learning [8.372465442144046]
  ベイズ最適条件ラベル分布が異なる環境において同じである場合、不変表現の概念に焦点を当てる。 従来の作業は、不変リスク最小化(IRM)フレームワークからペナルティ項を最大化することで環境推論(EI)を行う。 本手法は, 合成データセットと実世界のデータセットの両方において, ベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-26T13:07:22Z)
• CARL: A Benchmark for Contextual and Adaptive Reinforcement Learning [45.52724876199729]
  本稿では、文脈RL問題に拡張されたよく知られたRL環境の集合であるCARLについて述べる。 政策学習から状態の表現学習と文脈を分離することで、より一般化が促進されるという最初の証拠を提供する。
  論文  参考訳（メタデータ） (2021-10-05T15:04:01Z)
• Iterative Feature Matching: Toward Provable Domain Generalization with Logarithmic Environments [55.24895403089543]
  ドメインの一般化は、限られた数のトレーニング環境からのデータで、目に見えないテスト環境でうまく機能することを目的としています。 我々は,O(logd_s)$環境のみを見た後に一般化する予測器を高確率で生成することを保証する反復的特徴マッチングに基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-18T04:39:19Z)
• Towards Making the Most of Context in Neural Machine Translation [112.9845226123306]
  我々は、これまでの研究がグローバルな文脈をはっきりと利用しなかったと論じている。 本研究では,各文の局所的文脈を意図的にモデル化する文書レベルNMTフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T03:30:00Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。