‍

Durante este tempo que trabalho como Head de Design, uma das minhas buscas mais incansáveis foi entender como mensurar o impacto de design para tomar melhores decisões. Nestes últimos 4 anos, testei diversos modelos de métricas e acredito que finalmente consegui organizar o pensamento para resumir três formas de medição complementares.

Antes de tudo, porque medir?

‍

Já faz algum tempo que os designers brigam para participarem das etapas iniciais dos projetos e desta maneira foram ganhando mais espaço, ficando mais próximos da estratégia das empresas. Executivos e C-levels estão constantemente avaliando no que vale a pena investir / deixar de investir. Por isso, quanto mais próximo da estratégia, maior a necessidade de medir resultados. (Design finally have a seat at the table, now what?).

Na posição de Head de design, é muito comum ser questionado e comparado com outras iniciativas da empresa.

Vale a pena investir em design?

Qual é o retorno das pesquisas design?

Quanto custa um erro de usabilidade para a empresa?

Empresas com designers performam melhor do que as sem designer?

Qual é o impacto do design nos KPIs (Churn, Receita, CAC, LTV)?

Porque devemos investir em design se sabemos que cada vendedor que custa X me rende 2X de receita?

Não precisa reinventar a roda :)

‍

Existem diversos estudos mostrando o impacto de design em business, John Maeda tem trabalhado em alguns relatórios anuais que resumem o impacto de design em empresas de tecnologia:

‍

‍

Outro relatório incrível foi produzido pela Nea em 2016, mostra a relação do nível de maturidade das empresas e o investimento feito em design. Inclusive explicando a proporção ideal entre Developer / POs / Designers:

Em níveis estratégicos, mensurar é essencial para alterar direções necessárias e alcançar melhores resultados. A subjetividade pode levar a erros catastróficos e irreversíveis. Sendo assim, existem diversos motivos para mensurar design:

‍

Saber se vale a pena investir e o quanto escalar o time.

Saber a performance de cada integrante do time para bonificar ou orientar.

Saber a qualidade de design entregue e identificar evoluções de resultados.

Identificar gaps de experiência de uso.

Garantir a entrega de valor aos clientes.

1) Medindo design por processos

Tudo que fazemos repetidas vezes gera aprendizado. Em todas as tarefas recorrentes do nosso dia, vamos percebendo detalhes que poderíamos melhorar e desta forma criamos processos para sermos mais assertivos. As melhores práticas levam a perfeição! Sendo assim, uma forma de medir o potencial de sucesso de um projeto de design é medir a qualidade dos seus processos.

Cada designer tem uma metodologia de trabalho e cada projeto possui nuanças. Porém, de forma geral o processo de design não foge muito do comum:

• Briefing (Entender o problema inicial)
• Imersão (Falar com as pessoas que tem o problema)
• Ideação (Propor hipóteses de soluções para as causas raiz)
• Validação (Validar as hipóteses com quem tem o problema)
• Refinamento (Melhorar as hipóteses utilizando aprendizados)
• Implementação (De fato colocar a solução no ar)
• Acompanhamento (Entender se o problema foi resolvido)

Teoricamente, se seguirmos as etapas do processo de fato, agregando nossos conhecimentos práticos adquiridos, nosso resultado tende a ser mais assertivo. Ou seja, os designers que definiram muito bem o problema, fizeram uma imersão neutra e intensa no contexto dos usuários, realizaram a ideação de forma colaborativa, validaram as melhores hipóteses de solução, refinaram com os aprendizados da validação, garantiram uma boa implementação e acompanharam os resultados posteriores, tendem a alcançar melhores resultados.

Na prática, medir processos trata-se de definir as etapas que precisam ser seguidas e marcar quais foram de fato realizadas em cada iniciativa. Atualmente eu utilizo 15 min da One to One de cada liderado, a cada 15 dias converso 30min com cada um deles, para entender quais iniciativas estão em andamento e quais etapas de fato realizamos / pulamos. Ao final de um trimestre conseguimos mapear quais foram as etapas queimadas em quais projetos e também que projetos foram entregues nos prazos estipulados. Sendo realista, nem todo projeto permite que todas as etapas do processo sejam realizadas de fato. Por outro lado, projetos sem prazo definido tendem a falhar por falta de foco em execução.

‍

No exemplo acima, olhando para o chapter como um todo, podemos notar uma falha geral no etapa de validação. Além disso, perceba que um dos designers não está recebendo/procurando um briefing claro das iniciativas. Desta maneira conseguimos ter alguns pontos focais de melhoria e chegar a coeficientes de qualidade do processo:

Quais estapas do processo foram puladas?

Como podemos melhorar nos nossos processos atuais?

Quantos protótipos cada designer iniciou? Quantos foram concluídos?

Quantas iniciativas foram construídas e validadas envolvendo os usuários?

Quais projetos foram validados com usuários e quais não foram?

Os projetos validados trouxeram melhores resultados?

A partir desta análise de processos, fizemos algumas retrospectivas para entender quais são as principais de dificuldades de validação, aplicando melhorias no processo de recrutamento e síntese das pesquisas. Estes insumos também se transformaram em OKRs, percebemos que nosso percentual de validações poderia ser melhor e nos comprometemos a partir do 2º Quarter (Trimestre) em aumentar este indicador.

‍

2) Medindo design por competências

Um dos desafios do design nas empresas é conseguir escalar a quantidade de projetos, mantendo a qualidade com um time enxuto. Para isso podemos melhorar processos, como falado anteriormente, e podemos melhorar a qualidade dos designers que compôem o time. Sendo assim, o primeiro passo é entender a situação atual dos integrantes. Podemos dividir este diagnóstico em habilidades técnicas e habilidades comportamentais.

Fazendo um breve exercício sobre as habilidades técnicas que um designer precisa ter (no contexto de startups digitais) cheguei a uma lista separada entre Visual Design, UX/UI e User Research (Muito inspirado no Artigo sobre design skills do Jason Mesut.

‍

No fim de 2017, realizei uma dinâmica de fechamento do ano com o Chapter e fizemos um exercício de auto-avaliação. Aplicamos a auto-avaliação utilizando o material impresso para não retirar o foco dos participantes durante a dinâmica (Evitar distrações dos meios digitais).

‍

Esta análise nos permitiu ter uma visão sobre cada designer em relação a média do chapter. Este material foi compartilhado com cada designer durante as One to Ones e foi possível definir quais habilidades são reconhecidas como gaps e que iremos trabalhar através de treinamentos durante o ano.

‍

Desta maneira também foi possível ter um diagnóstico geral do chapter e entender quais habilidades estão desequilibradas. Trazer treinamentos in Company sobre estes assuntos pode ajudar o chapter a cobrir estes gaps.

‍

Outro aspecto a ser avaliado são as habilidades comportamentais. Todas elas foram separadas entre habilidades interpessoais (Soft skills) e habilidades de liderança (leadership skills). Como na avaliação técnica, citada anteriormente, cada designer se auto avaliou sobre estes 37 aspectos.

‍

Posteriormente fizemos avaliações cruzadas, onde cada designer foi avaliado por outros 3 designers que já tenham trabalhado junto em algum projeto. Neste caso da avaliação cruzada fizemos uso do formulário online (https://andersongomes1.typeform.com/to/NdHzrq), focado-se somente nas habilidades comportamentais.

Sendo assim, tivemos como avaliar cada designer, considerando a visão de si mesmo (em azul) versus a visão dos outros integrantes do chapter (em vermelho). Esta visualização gráfica nos ajudou a detectar distorções entre a percepção interna do designer e a impressão externa. Desta maneira, conduzimos one to ones de coaching discutindo cada ponto e realizando planos de ações focadas nas caracteristicas mais críticas (pelo ponto de vista do designer avaliado).

‍

Também foi possível ter uma média comportamental do chapter, o que nos mostrou um perfil passivo (Humilde, Respeitoso, Flexível, Paciente, Bom ouvinte, Colaborativo). Este perfil gerou uma ótima conversa entre o chapter para entender como queremos ser e como queremos ser vistos pela empresa.

‍

3) Medindo design por resultados

A maior dificuldade em mensurar uma área é conseguir isolar o impacto das ações realizadas SOMENTE pela área. Mensurar os resultados de design não seria diferente. Atualmente os desafios cruzam tantos especialistas que fica difícil segmentar a origem da melhoria. Porém, o mais importante em mensurar design é entender se a qualidade final da experiência está melhor para o usuário final, independente de quem fez a melhoria.

Normalmente as métricas de resultado são focadas no sucesso financeiro da empresa. No caso de design, o foco final é o sucesso do cliente / usuário. Sendo assim, determinamos três pilares para mensurar a qualidade da experiência para o usuário final:

• Usabilidade (Realização de tarefas sem ficar com dúvidas)
• Sucesso do cliente (Resolveu o problema que dói no cliente)
• Desejabilidade (Product Fit e desejo de compra)

Tendo definido estes três objetivos, precisamos definir quais são os sinais que revelam o quanto estamos melhorando em cada um deles. O artigo sobre o framework HEART, escrito pelo Kerry Roden do Google Ventures fala um pouco mais sobre esta metodologia de definição de métricas.

Basicamente:

OBJETIVOS possuem SINAIS que podem ser quantificados por MÉTRICAS.

‍

Exemplo: O tempo que as pessoas passam assistindo vídeos no Youtube é um SINAL de que estão mais engajados no conteúdo (Objetivo do usuário: o vídeo ser relevante para o seu interesse). O percentual de usuários que assistem mais de 30% da duração dos vídeos é uma forma de medir este sinal (Métrica).

Definimos que a experiência precisa ser: intuitiva, garantir o sucesso do cliente e gerar desejo de compra. Os sinais são sintomas de que aqueles objetivos estão sendo conquistados. E as métricas são os indicadores que iremos acompanhar para medir os sinais.

Para medir Usabilidade, por exemplo, podemos estipular o objetivo de "Consegui comprar o produto que queria" (Pelo ponto de vista do cliente). Um sinal de que ele conseguiu comprar o que queria seria: ele completou o fluxo de compra de primeira (Consegui comprar o que queria tentando uma única vez). Uma métrica para acompanhar isso, poderia ser: Quantos porcento das pessoas completaram o funil de compra sem editar campos ou voltar passos?.

‍

É importantíssimo lembrar que existem diversos sinais para o mesmo objetivo e infinitas formas de medir os sinais determinados. Ou seja, não existe uma receita de bolo que servirá para todos os contextos possíveis. Porém, seguir esta lógica para saber e entender o que será medido é essencial para conseguir ter um termômetro de como está a qualidade da experiência entregue pelo seu produto ou serviço.

Próximos passos: OKRs por resultados financeiros.

Obviamente que a linguagem universal da negociação a nível executivo é o dinheiro, portanto podemos converter nossos objetivos em unidades de medida financeiras. Para isso precisamos encontrar correlações entre as métricas de experiência e os os KPIs tradicionais. Entendendo estas unidades de medida, podemos converter estes objetivos e métricas monitoradas em montantes financeiros.

Por exemplo, melhorando 1% em usabilidade o nosso churn tende a reduzir em quantos porcento?

Concluindo

Apresentei uma palestra sobre este assunto no World Information Architecture Day 2018 em SP (WIAD) e acredito que este material pode complementar este artigo:

Muito obrigado pela paciência em ler o artigo, se quiser tomar um café e trocar uma ideia, simplesmente deixe um comentário ou me procure no linkedin.

‍

‍