論文の概要: Towards Ecologically Valid Research on Language User Interfaces

• arxiv url: http://arxiv.org/abs/2007.14435v1
• Date: Tue, 28 Jul 2020 19:09:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 02:21:01.141707
• Title: Towards Ecologically Valid Research on Language User Interfaces
• Title（参考訳）: 言語ユーザインタフェースに関する生態学的検証研究に向けて
• Authors: Harm de Vries, Dzmitry Bahdanau, Christopher Manning
• Abstract要約: 言語ユーザインタフェース(LUI)は、幅広いタスクにおいて人間と機械のインタラクションを改善することができる。 最近の研究は、現代のディープラーニング手法を用いて、データ駆動方式でLUIを構築する試みである。
• 参考スコア（独自算出の注目度）: 12.960884173005677
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language User Interfaces (LUIs) could improve human-machine interaction for a wide variety of tasks, such as playing music, getting insights from databases, or instructing domestic robots. In contrast to traditional hand-crafted approaches, recent work attempts to build LUIs in a data-driven way using modern deep learning methods. To satisfy the data needs of such learning algorithms, researchers have constructed benchmarks that emphasize the quantity of collected data at the cost of its naturalness and relevance to real-world LUI use cases. As a consequence, research findings on such benchmarks might not be relevant for developing practical LUIs. The goal of this paper is to bootstrap the discussion around this issue, which we refer to as the benchmarks' low ecological validity. To this end, we describe what we deem an ideal methodology for machine learning research on LUIs and categorize five common ways in which recent benchmarks deviate from it. We give concrete examples of the five kinds of deviations and their consequences. Lastly, we offer a number of recommendations as to how to increase the ecological validity of machine learning research on LUIs.
• Abstract（参考訳）: 言語ユーザインタフェース(LUI)は、音楽の演奏、データベースからの洞察獲得、家庭内ロボットの指導など、幅広いタスクにおいて、人間と機械のインタラクションを改善することができる。 従来の手作りのアプローチとは対照的に、最近の研究は、最新のディープラーニング手法を使ってデータ駆動方式でluisを構築しようとしている。 このような学習アルゴリズムのデータニーズを満たすために、研究者は、実世界のLUIのユースケースに対する自然性や関連性を犠牲にして収集されたデータの量を強調するベンチマークを構築した。 その結果、これらのベンチマークに関する研究結果は、実用的なLUIの開発には関係がないかもしれない。 本論文の目的は、この問題に関する議論をブートストラップし、ベンチマークの生態学的妥当性を低くすることである。 この目的のために、我々はLUIに関する機械学習研究の理想的な方法論とみなし、最近のベンチマークがそれから逸脱する5つの一般的な方法を分類する。 5種類の偏差とその結果の具体例を示す。 最後に,luisにおける機械学習研究の生態学的妥当性を高める方法について,いくつかの提言を行う。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Extraction of Research Objectives, Machine Learning Model Names, and Dataset Names from Academic Papers and Analysis of Their Interrelationships Using LLM and Network Analysis [0.0]
  本研究では,研究論文からタスクや機械学習手法,データセット名を抽出する手法を提案する。 提案手法の表現抽出性能は,Llama3を用いた場合,様々なカテゴリでFスコアが0.8を超えている。 ファイナンシャルドメイン論文のベンチマーク結果は,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-08-22T03:10:52Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• A Survey on Deep Active Learning: Recent Advances and New Frontiers [27.07154361976248]
  この研究は、ディープラーニングに基づくアクティブラーニング(DAL)の難しさを克服する上で、研究者にとって有用かつ迅速なガイドとなることを目的としている。 この手法は適用可能性の広さから人気が高まりつつあるが、特にディープラーニングに基づくアクティブラーニング(DAL)に関する調査論文は乏しいままである。
  論文  参考訳（メタデータ） (2024-05-01T05:54:33Z)
• Batch Active Learning of Reward Functions from Human Preferences [33.39413552270375]
  嗜好に基づく学習は、ユーザが好みの質問をすることで、信頼できるラベル付けを可能にする。 アクティブクエリ手法は、より情報性の高いデータを生成するために、好みに基づく学習で一般的に使用される。 我々は,データサンプルを極力少なくして,報酬関数の効率的な学習を可能にする,新しいアルゴリズムのセットを開発した。
  論文  参考訳（メタデータ） (2024-02-24T08:07:48Z)
• Exploring the Power of Topic Modeling Techniques in Analyzing Customer Reviews: A Comparative Analysis [0.0]
  大量のテキストデータをオンラインで分析するために、機械学習と自然言語処理アルゴリズムがデプロイされている。 本研究では,顧客レビューに特化して用いられる5つのトピックモデリング手法について検討・比較する。 以上の結果から,BERTopicはより意味のあるトピックを抽出し,良好な結果を得ることができた。
  論文  参考訳（メタデータ） (2023-08-19T08:18:04Z)
• Actively Discovering New Slots for Task-oriented Conversation [19.815466126158785]
  本稿では,ループ内学習を実現するため,情報抽出方式で汎用的なスロットタスクを提案する。 我々は既存の言語ツールを活用し、対応するラベルが弱い監視信号として利用される値候補を抽出する。 いくつかの公開データセットに対して広範な実験を行い、競合するベースラインを多数比較して手法を実証する。
  論文  参考訳（メタデータ） (2023-05-06T13:33:33Z)
• JECC: Commonsense Reasoning Tasks Derived from Interactive Fictions [75.42526766746515]
  本稿では,人間のインタラクティブ・フィクション(IF)ゲームプレイ・ウォークスルーに基づく新しいコモンセンス推論データセットを提案する。 本データセットは,事実知識ではなく,機能的コモンセンス知識ルールの評価に重点を置いている。 実験の結果、導入したデータセットは、以前の機械読影モデルと新しい大規模言語モデルに難題であることが示されている。
  論文  参考訳（メタデータ） (2022-10-18T19:20:53Z)
• ALBench: A Framework for Evaluating Active Learning in Object Detection [102.81795062493536]
  本稿では、オブジェクト検出におけるアクティブラーニングを評価するために、ALBenchという名前のアクティブラーニングベンチマークフレームワークをコントリビュートする。 自動深層モデルトレーニングシステム上で開発されたこのALBenchフレームワークは、使いやすく、さまざまなアクティブな学習アルゴリズムと互換性があり、同じトレーニングおよびテストプロトコルを保証する。
  論文  参考訳（メタデータ） (2022-07-27T07:46:23Z)
• Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
  機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。 ディープラーニングは、独自の機械学習のサブフィールドになっている。 生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
  論文  参考訳（メタデータ） (2021-05-29T21:02:44Z)
• Human Trajectory Forecasting in Crowds: A Deep Learning Perspective [89.4600982169]
  本稿では,既存の深層学習に基づくソーシャルインタラクションのモデル化手法について詳細に分析する。 本稿では、これらの社会的相互作用を効果的に捉えるための知識に基づく2つのデータ駆動手法を提案する。 我々は,人間の軌道予測分野において,重要かつ欠落したコンポーネントであるTrajNet++を大規模に開発する。
  論文  参考訳（メタデータ） (2020-07-07T17:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。