論文の概要: Reading Books is Great, But Not if You Are Driving! Visually Grounded Reasoning about Defeasible Commonsense Norms

• arxiv url: http://arxiv.org/abs/2310.10418v2
• Date: Sat, 11 Nov 2023 13:40:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 20:15:41.861312
• Title: Reading Books is Great, But Not if You Are Driving! Visually Grounded Reasoning about Defeasible Commonsense Norms
• Title（参考訳）: 本を読むのは最高だけど、運転するなら違う! デファシブル・コモンセンス・ノームに関する視覚的根拠に基づく推論
• Authors: Seungju Han and Junhyeok Kim and Jack Hessel and Liwei Jiang and Jiwan Chung and Yejin Son and Yejin Choi and Youngjae Yu
• Abstract要約: ビジュアルグラウンドド・コモンセンスの規範を研究するための新しいベンチマーク、NORMLENSを構築した。 我々は、最先端のモデル判断と説明が人間のアノテーションとうまく一致していないことを発見した。 我々は,大規模言語モデルから社会的コモンセンス知識を抽出し,モデルと人間との整合性を向上するための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 65.17491295329991
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Commonsense norms are defeasible by context: reading books is usually great, but not when driving a car. While contexts can be explicitly described in language, in embodied scenarios, contexts are often provided visually. This type of visually grounded reasoning about defeasible commonsense norms is generally easy for humans, but (as we show) poses a challenge for machines, as it necessitates both visual understanding and reasoning about commonsense norms. We construct a new multimodal benchmark for studying visual-grounded commonsense norms: NORMLENS. NORMLENS consists of 10K human judgments accompanied by free-form explanations covering 2K multimodal situations, and serves as a probe to address two questions: (1) to what extent can models align with average human judgment? and (2) how well can models explain their predicted judgments? We find that state-of-the-art model judgments and explanations are not well-aligned with human annotation. Additionally, we present a new approach to better align models with humans by distilling social commonsense knowledge from large language models. The data and code are released at https://seungjuhan.me/normlens.
• Abstract（参考訳）: 普通は本を読むことは素晴らしいが、車を運転するときにはそうではない。 コンテキストは言語で明示的に記述できるが、具体化されたシナリオでは、コンテキストはしばしば視覚的に提供される。 この種の視覚的に根ざした、デファシブル・コモンセンス規範に関する推論は、一般に人間にとって容易であるが、(私たちが見せているように)機械にとって、視覚的理解とコモンセンス規範に関する推論の両方を必要とするため、挑戦となる。 NORMLENSというビジュアルグラウンドのコモンセンス規範を研究するための新しいマルチモーダルベンチマークを構築した。 NORMLENSは、2Kマルチモーダル状況に関する自由形式の説明を伴う10K人の人的判断で構成されており、(1)モデルが平均的な人的判断とどの程度一致しているかという2つの疑問に対処するための調査となる。 2)モデルが予測した判断をどの程度説明できるか? 現状のモデル判断や説明は人間のアノテーションとよく一致していないことがわかった。 さらに, 大規模言語モデルから社会常識知識を抽出し, モデルと人間との協調性を高めるための新しいアプローチを提案する。 データとコードはhttps://seungjuhan.me/normlensでリリースされる。

関連論文リスト

• One Thousand and One Pairs: A "novel" challenge for long-context language models [56.60667988954638]
  NoChaは、67冊の架空の書籍に関する1,001対の真偽の主張のデータセットである。 当社のアノテータは、NoChaにおけるペアの最大シェアは、本全体に対するグローバルな推論を必要としていることを確認しています。 平均的なモデルでは、文レベルの検索しか必要としないペアの方が、グローバルな推論よりもはるかに優れています。
  論文  参考訳（メタデータ） (2024-06-24T02:03:57Z)
• Are language models rational? The case of coherence norms and belief revision [63.78798769882708]
  我々は、論理的コヒーレンス規範と、言語モデルにおける信念の強さに結びついたコヒーレンス規範を考察する。 コヒーレンスに結びついた有理ノルムはいくつかの言語モデルに適用できるが、他のモデルには適用されない。
  論文  参考訳（メタデータ） (2024-06-05T16:36:21Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Language Models Understand Us, Poorly [0.0]
  人間の言語理解に関する3つの見解を考察する。 行動の信頼性は理解に必要だが、内部表現は十分である、と私は論じる。 モデル内部を調査し、人間の言語をさらに追加し、モデルが学べるものを計測する作業が必要です。
  論文  参考訳（メタデータ） (2022-10-19T15:58:59Z)
• NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
  本稿では,Prologベースの推論エンジンを新たに提案する。 我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。 我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
  論文  参考訳（メタデータ） (2022-09-16T00:54:44Z)
• Machine Reading, Fast and Slow: When Do Models "Understand" Language? [59.897515617661874]
  本稿では,2つの言語スキル(コア参照の解決と比較)に関して,理解モデルを読み取る行動について検討する。 比較のため(コアではない)、より大きなエンコーダに基づくシステムは、より「正しい」情報に依存する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2022-09-15T16:25:44Z)
• Norm Participation Grounds Language [16.726800816202033]
  私は、どのような基礎言語が規範的な性質であるのかという考え方を、異なる、より広範に提案します。 物事を正しく行うための基準があり、これらの標準は公然と権威があり、同時に権威の受容が議論され、交渉される。 言語がどのような基盤となるかは、言語ユーザーがそれを利用する決定的な方法であり、それが根底にあるのは、言語利用者のコミュニティである。
  論文  参考訳（メタデータ） (2022-06-06T20:21:59Z)
• Reframing Human-AI Collaboration for Generating Free-Text Explanations [46.29832336779188]
  少数の人間が記述した例を用いて,自由テキストの説明を生成する作業について考察する。 クラウドソースによる説明よりも,GPT-3による説明の方が好まれる。 我々は、GPT-3と教師付きフィルタを組み合わせたパイプラインを作成し、二項受理性判定を介し、ループ内人間を組み込む。
  論文  参考訳（メタデータ） (2021-12-16T07:31:37Z)
• Delphi: Towards Machine Ethics and Norms [38.8316885346292]
  機械倫理と規範に対する4つの根本的な課題を特定します。 私たちのプロトタイプモデルであるDelphiは、言語ベースのコモンセンス道徳的推論の強い可能性を実証しています。 我々は,機械用にカスタマイズされた道徳教科書であるCommonsense Norm Bankを提示する。
  論文  参考訳（メタデータ） (2021-10-14T17:38:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。