Eu queria um burrito. Uma pesquisa de IA no Facebook me enviou a um restaurante morto a 45 metros de distância.

By | Junho 16, 2022

estavam escrito sobre Falha na pesquisa do Google, e como medi-lo rigorosamente por meio da avaliação humana. Mas por que parar no Google? Estamos iniciando uma nova série de blogs de avaliação de ML do mundo real, explorando sistemas de pesquisa e referência – seja YouTube, Meta, TikTok ou Amazon. Neste post: uma estimativa de buscas no Facebook!

Avaliação de pesquisa do Facebook

Eu estava com fome outro dia em uma reunião na SOMA em San Francisco, então tentei pesquisar “burritos perto de mim”

Afinal, muito do que fazemos com amigos e familiares gira em torno prato. O Facebook pode fazer um trabalho melhor do que o Google?

“burritos perto de mim” ao pesquisar no SOMA em San Francisco

Surpreendentemente, o primeiro resultado é em Richmond County – 45 minutos!

É outro do outro lado da ponte em Emeryville ...

O terceiro fica a 13,6 milhas de distância, em Oakland.

Os 3 principais resultados de pesquisa do Facebook para “burritos perto de mim”

Vamos dar uma olhada no primeiro resultado, Richmond Burritos. Não há comentários. Por que o Facebook recomenda isso em primeiro lugar?

Sem comentários!

Mas ei, o Facebook é inteligente, talvez saiba algo que eu não sei. Digamos que eu viaje 45 minutos para encontrar o burrito mais interessante da cidade…

Só para saber que está fechado.

Os Tacos venceram o burrito de qualquer maneira

Obviamente, a pesquisa local é difícil – uma das categorias mais difíceis para qualquer mecanismo de pesquisa. Este não é um problema puro de obtenção de informações e você precisa considerar fatores do mundo real, como:

  • Onde estou? Até onde estou disposto a viajar?
  • O restaurante ainda está aberto?
  • Há fotos e comentários?
  • Tenho metadados precisos, como número de telefone e endereço?
  • E se for feriado?

Então, quão bem o resto do mecanismo de busca do Facebook funciona? Vamos realizar um estudo em maior escala, avaliando tanto a pesquisa de grupo quanto a pesquisa de mercado.

Medindo a qualidade da pesquisa por meio da Avaliação Humana

Para medir a qualidade de pesquisa do Facebook, pedimos a 500 mecanismos de pesquisa Surge AI para revisar seus históricos de navegador e encontrar as consultas que pretendiam encontrar:

  • Um lugar que eles queriam ir com seus amigos
  • A comunidade que eles queriam se juntar
  • Algo que seria bom comprar usado

Em seguida, eles publicaram novamente essas consultas de pesquisa no Facebook, usando as verticais de pesquisa de lugar, grupo e mercado do Facebook, e classificaram a qualidade e a relevância dos resultados em uma escala de 5 pontos.

Aqui estão os resultados:

Qualidade de pesquisa do grupo do Facebook
Qualidade de pesquisa do Facebook Marketplace

Qualidade de pesquisa no site do Facebook

Como as verticais se comparam? Vamos converter as classificações em uma classificação numérica, mapeando Terrível para -2, Muito ruim para -1, OK para 0, Muito bom para +1 e Incrível para +2. Então podemos calcular a pontuação média de cada vertical:

O mercado funciona melhor!

Quão boa é a classificação? Curiosamente, as posições mais baixas nos resultados de pesquisa têm uma classificação mais baixa para as pessoas, o que sugere que o mecanismo de pesquisa do Facebook está realmente puxando o sinal.

Por fim, vejamos alguns exemplos de classificações.

Exemplos de classificações de pesquisa do Facebook

Pesquisa de mercado

Classificação de pesquisa nº 1

Avaliação da pesquisa: Cristiano W.

Consulta de pesquisa: moletom legal

Intenção de pesquisar: Eu quero uma camiseta usada legal e única que eu possa usar como roupa casual. Pontos de bônus se for algo que ninguém mais teria.

“moletom legal”

Classificação: Terrível. É um monte de camisetas chatas e lisas que obviamente são vendidas por US $ 12.000! Acho que o ponto é que ela mostra todas as camisetas que tem e quer que você negocie por elas, mas isso ainda é estranho de se ver. Eu também não gosto que não haja nada de bom nos agasalhos. A imagem é apenas genérica da Nike.

Grupos de pesquisa

Classificação de pesquisa nº 2

Avaliação da pesquisa: Kyra S.

Consulta de pesquisa: orçamento para artes e ofícios

Intenção de pesquisar: Eu amo fazer artes e artesanato no meu tempo livre, então eu estava procurando por um grupo onde as pessoas compartilhassem ideias sobre artes e artesanatos baratos que podem ser feitos com muitos itens baratos.

“orçamento de artes e ofícios”

Avaliação: Muito ruim. Primeiro, este é um grupo privado, o que significa que eu teria que pedir permissão para entrar no grupo e esperar que alguém me aceitasse do administrador ou proprietário. Não há indicação de que este grupo publique ideias para artes e ofícios. O grupo parece estar mais preocupado em celebrar a própria ideia de artes e ofícios, o que não é nada do que eu buscava nessa busca.

Classificação de pesquisa nº 3

Avaliação da pesquisa: Mesmo.

Consulta de pesquisa: a magia de reunir

Intenção de pesquisar: Seria divertido encontrar grupos para pessoas que querem trocar cartas de Magic: the Gathering ou jogar jogos online de Magic: the Gathering.

“magia de reunir”

Classificação: Inacreditável. O grupo não é apenas relevante para a pesquisa, mas também está localizado no distrito onde moro. Para que eu pudesse obter jogos pessoais, bem como jogos online e compras à distância.

Pesquisa de lugar

Classificação de pesquisa nº 4

Avaliação da pesquisa: Catarina B.

Consulta de pesquisa: hotel de luxo perto de mim

Intenção de pesquisar: Eu queria encontrar um hotel de luxo na minha área. Eu queria um lugar onde eu pudesse ir para algumas “estadias” ou um lugar que eu pudesse recorrer aos meus parentes.

“hotel de luxo perto de mim”

Classificação: Terrível. O primeiro resultado é um hotel PET. O segundo é um showroom de carros usados!

Classificação de pesquisa nº 5

Avaliação da pesquisa: Fuja N.

Consulta de pesquisa: seis bandeiras

Intenção de pesquisar: Eu queria encontrar a localização deste Six Flags, bem como todas as informações relevantes, como fotos e comentários.

“seis bandeiras”

Classificação: Inacreditável. O primeiro resultado é a página principal do Six Flags Magic Mountain, que é muito útil. O endereço também é claramente exibido, bem como uma descrição detalhada do local. Ele também tem mais de 600.000 curtidas, então parece muito confiável.

Percepções

Seria interessante mergulhar mais fundo nos dados, mas alguns pensamentos rápidos:

  • O preço ou desvio da média é usado como um recurso? Um item de $ 12.000 nunca deve aparecer como o primeiro resultado da pesquisa – especialmente para um agasalho!
  • Até que ponto os usuários realmente querem ver grupos privados? É provável que ele queira se juntar a eles, assim como ao público?
  • Que tipos de categorização de negócios e modelos de relevância de palavras-chave a Pesquisa do Facebook usa? Deve ser fácil separar a intenção “hotel” da consulta “hotel de luxo nas proximidades” e classificar a página “Vendas de carros de luxo” como uma concessionária de carros em vez de um hotel. Por que a pesquisa falha aqui?

Abstrato

Interessado em todo o conjunto de dados de classificação da Pesquisa do Facebook, para fazer uma análise mais rigorosa? Envie-nos uma mensagem para [email protected]!

Se você quiser saber mais sobre medição de qualidade de pesquisa e avaliação humana, confira nossos outros posts sobre este tópico:

Deixe uma resposta

O seu endereço de email não será publicado.