Como medir design

Durante este tempo que trabalho como Head de Design, uma das minhas buscas mais incansáveis foi entender como mensurar o impacto de design para tomar melhores decisões. Nestes últimos 4 anos, testei diversos modelos de métricas e acredito que finalmente consegui organizar o pensamento para resumir três formas de medição complementares.

Escreva sobre Design, UX & Produto

Na posição de Head de design, é muito comum ser questionado e comparado com outras iniciativas da empresa.

Outro relatório incrível foi produzido pela Nea em 2016, mostra a relação do nível de maturidade das empresas e o investimento feito em design. Inclusive explicando a proporção ideal entre Developer / POs / Designers:

Em níveis estratégicos, mensurar é essencial para alterar direções necessárias e alcançar melhores resultados. A subjetividade pode levar a erros catastróficos e irreversíveis. Sendo assim, existem diversos motivos para mensurar design:

Tudo que fazemos repetidas vezes gera aprendizado. Em todas as tarefas recorrentes do nosso dia, vamos percebendo detalhes que poderíamos melhorar e desta forma criamos processos para sermos mais assertivos. As melhores práticas levam a perfeição! Sendo assim, uma forma de medir o potencial de sucesso de um projeto de design é medir a qualidade dos seus processos.

Cada designer tem uma metodologia de trabalho e cada projeto possui nuances. Porém, de forma geral o processo de design não foge muito do comum:

Teoricamente, se seguirmos as etapas do processo de fato e agregando nossos conhecimentos práticos adquiridos, nosso resultado tende a ser mais assertivo. Ou seja, os designers que definiram muito bem o problema, fizeram uma imersão neutra e intensa no contexto dos usuários, realizaram a ideação de forma colaborativa, validaram as melhores hipóteses de solução, refinaram com os aprendizados da validação, garantiram uma boa implementação e acompanharam os resultados posteriores tendem a alcançar melhores resultados.

Na prática, medir processos trata-se de definir as etapas que precisam ser seguidas e marcar quais foram de fato realizadas em cada iniciativa. Atualmente eu utilizo 15 min da One to One de cada liderado, a cada 15 dias converso 30min com cada um deles, para entender quais iniciativas estão em andamento e quais etapas de fato realizamos / pulamos. Ao final de um trimestre conseguimos mapear quais foram as etapas queimadas em quais projetos e também que projetos foram entregues nos prazos estipulados. Sendo realista, nem todo projeto permite que todas as etapas do processo sejam realizadas de fato. Por outro lado, projetos sem prazo definido tendem a falhar por falta de foco em execução.

No exemplo acima, olhando para o chapter como um todo, podemos notar uma falha geral no etapa de validação. Além disso, perceba que um dos designers não está recebendo/procurando um briefing claro das iniciativas. Desta maneira conseguimos ter alguns pontos focais de melhoria e chegar a coeficientes de qualidade do processo:

A partir desta análise de processos, fizemos algumas retrospectivas para entender quais são as principais de dificuldades de validação, aplicando melhorias no processo de recrutamento e síntese das pesquisas. Estes insumos também se transformaram em OKRs, percebemos que nosso percentual de validações poderia ser melhor e nos comprometemos a partir do 2º Quarter (Trimestre) em aumentar este indicador.

Um dos desafios do design nas empresas é conseguir escalar a quantidade de projetos, mantendo a qualidade com um time enxuto. Para isso podemos melhorar processos, como falado anteriormente, e podemos melhorar a qualidade dos designers que compôem o time. Sendo assim, o primeiro passo é entender a situação atual dos integrantes. Podemos dividir este diagnóstico em habilidades técnicas e habilidades comportamentais.

No fim de 2017, realizei uma dinâmica de fechamento do ano com o Chapter e fizemos um exercício de auto-avaliação. Aplicamos a auto-avaliação utilizando o material impresso para não retirar o foco dos participantes durante a dinâmica (Evitar distrações dos meios digitais).

Esta análise nos permitiu ter uma visão sobre cada designer em relação a média do chapter. Este material foi compartilhado com cada designer durante as One to Ones e foi possível definir quais habilidades são reconhecidas como gaps e que iremos trabalhar através de treinamentos durante o ano.

Desta maneira também foi possível ter um diagnóstico geral do chapter e entender quais habilidades estão desequilibradas. Trazer treinamentos in Company sobre estes assuntos pode ajudar o chapter a cobrir estes gaps.

Outro aspecto a ser avaliado são as habilidades comportamentais. Todas elas foram separadas entre habilidades interpessoais (Soft skills) e habilidades de liderança (leadership skills). Como na avaliação técnica, citada anteriormente, cada designer se auto avaliou sobre estes 37 aspectos.

Sendo assim, tivemos como avaliar cada designer, considerando a visão de si mesmo (em azul) versus a visão dos outros integrantes do chapter (em vermelho). Esta visualização gráfica nos ajudou a detectar distorções entre a percepção interna do designer e a impressão externa. Desta maneira, conduzimos one to ones de coaching discutindo cada ponto e realizando planos de ações focadas nas caracteristicas mais críticas (pelo ponto de vista do designer avaliado).

Também foi possível ter uma média comportamental do chapter, o que nos mostrou um perfil passivo (Humilde, Respeitoso, Flexível, Paciente, Bom ouvinte, Colaborativo). Este perfil gerou uma ótima conversa entre o chapter para entender como queremos ser e como queremos ser vistos pela empresa.

A maior dificuldade em mensurar uma área é conseguir isolar o impacto das ações realizadas SOMENTE pela área. Mensurar os resultados de design não seria diferente. Atualmente os desafios cruzam tantos especialistas que fica difícil segmentar a origem da melhoria. Porém, o mais importante em mensurar design é entender se a qualidade final da experiência está melhor para o usuário final, independente de quem fez a melhoria.

Normalmente as métricas de resultado são focadas no sucesso financeiro da empresa. No caso de design, o foco final é o sucesso do cliente / usuário. Sendo assim, determinamos três pilares para mensurar a qualidade da experiência para o usuário final:

Definimos que a experiência precisa ser: intuitiva, garantir o sucesso do cliente e gerar desejo de compra. Os sinais são sintomas de que aqueles objetivos estão sendo conquistados. E as métricas são os indicadores que iremos acompanhar para medir os sinais.

Para medir Usabilidade, por exemplo, podemos estipular o objetivo de “Consegui comprar o produto que queria” (Pelo ponto de vista do cliente). Um sinal de que ele conseguiu comprar o que queria seria: ele completou o fluxo de compra de primeira (Consegui comprar o que queria tentando uma única vez). Uma métrica para acompanhar isso, poderia ser: Quantos porcento das pessoas completaram o funil de compra sem editar campos ou voltar passos?.

É importantíssimo lembrar que existem diversos sinais para o mesmo objetivo e infinitas formas de medir os sinais determinados. Ou seja, não existe uma receita de bolo que servirá para todos os contextos possíveis. Porém, seguir esta lógica para saber e entender o que será medido é essencial para conseguir ter um termômetro de como está a qualidade da experiência entregue pelo seu produto ou serviço.

Obviamente que a linguagem universal da negociação a nível executivo é o dinheiro, portanto podemos converter nossos objetivos em unidades de medida financeiras. Para isso precisamos encontrar correlações entre as métricas de experiência e os os KPIs tradicionais. Entendendo estas unidades de medida, podemos converter estes objetivos e métricas monitoradas em montantes financeiros.

Apresentei uma palestra sobre este assunto no World Information Architecture Day 2018 em SP (WIAD) e acredito que este material pode complementar este artigo:

Muito obrigado pela paciência em ler o artigo, se quiser tomar um café e trocar uma ideia, simplesmente deixe um comentário ou me procure no Linkedin.

Related posts:

Life is a merry-go-round. So much fun and all the laughter!. “Life is Spinning” is published by Nina Katharina S in The Post-Grad Survival Guide.

Salesforce added another award for Best CRM Software this week. Business New Daily’s award could easily leave an Entrepreneur with the impression that launching a great Salesforce instance was quick…

Exporting whole spices is a specialized area of the spice industry, and Opaline Intrinsic Export has established itself as a leading player in this domain. Whole spices refer to spices that are…