Como o gestor deve avaliar a IA

Esqueça o buzz; para saber se uma solução compensará para sua empresa, é preciso responder a três perguntas-chaves, verificando como essa inteligência artificial foi treinada e validada. Veja exemplo real na área da saúde

Sarah Lebovitz, Hila Lifshitz-assaf e Natalia Levina

30 de maio de 2023 e atualizado em 12 de julho de 2024

16 min de leitura

No setor de inteligência artificial, em rápida evolução e altamente competitivo – o ChatGPT que o diga –, os desenvolvedores precisam defender o grau de precisão de suas ferramentas de IA. Pode ser assustador para quem não é especialista avaliar essas ferramentas, então os líderes ficam tentados a confiar nas métricas de desempenho de alto nível publicadas em materiais de vendas. O problema é que isso geralmente leva a implementações decepcionantes e/ou arriscadas.

Ao longo de uma investigação de 11 meses, observamos gestores de uma importante organização de saúde enquanto conduziam estudos-piloto internos de cinco ferramentas de IA. Elas chegaram com promessas de resultados de desempenho impressionantes, mas alguns resultados foram péssimos. Analisando o processo de avaliação, descobrimos que um modo eficaz de determinar a qualidade de uma ferramenta de IA é examinar sua verdade básica.

ExclusivoEste conteúdo faz parte da edição #14 do MIT SMR Brasil.Já tem acesso? Fazer loginAssinarComprar edição