Escrito por Kimberly Silva, PhD, Consultora Sênior de P&D
Como designers e usuários de avaliações inovadoras, estamos constantemente adaptando a forma como pensamos, construímos e entregamos nossas ferramentas. Embora nossos produtos e estratégia possam mudar, nossos objetivos principais permanecem os mesmos – criar medidas relevantes, psicometricamente sólidas e justas. Infelizmente, às vezes esses objetivos entram em conflito, e podemos nos sentir presos em priorizar um objetivo sobre outro. Neste artigo de reflexão, descrevo minha recente experiência com esse desafio, compartilho lições aprendidas e ofereço conselhos práticos para abordar uma crescente preocupação com Diversidade, Equidade e Inclusão (DEI).
Desenhando uma avaliação de contratação válida
Em 2021, minha equipe foi solicitada a criar uma nova medida para ajudar a selecionar candidatos a emprego na área de manufatura. A medida precisava ser altamente envolvente, acessível em qualquer dispositivo, e efetivamente medir a habilidade de ‘trabalhar com precisão em um ritmo rápido e constante’ – uma competência que chamamos de “Ritmo de Trabalho”. Depois de garantir que o Ritmo de Trabalho estivesse relacionado ao trabalho, minha equipe começou a projetar a medida. Criamos um protótipo e o avaliamos minuciosamente de acordo com os padrões da indústria. Em geral, a medida foi um sucesso. Era precisa, consistente e refletia tarefas reais de manufatura. Mas havia uma limitação excepcional – descobrimos diferenças de pontuação relacionadas à idade. Pessoas mais jovens estavam se saindo melhor do que as mais velhas.
É comum para testes de habilidade demonstrarem diferenças de pontuação relacionadas à idade (Wee, Newman & Joseph, 2014), especialmente se o teste tem um componente de velocidade. À medida que envelhecemos, nosso tempo de reação diminui, e com isso, o ritmo ou velocidade com que trabalhamos (Dickerson et al., 2021; Gilles et al., 2022; Welford, 1988). Sabendo disso, antecipamos uma relação semelhante entre idade e Ritmo de Trabalho e estávamos preparados para modificar o protótipo.
DEI e práticas justas de contratação
Existem casos em que uma medida demonstra diferenças de pontuação em subgrupos, mas ainda é usada no processo de contratação (Outtz, 2002). De acordo com a Comissão de Oportunidades Iguais de Emprego dos EUA, testes que são relacionados ao trabalho e consistentes com a necessidade comercial podem ser usados para triagem e seleção, mesmo que excluam desproporcionalmente pessoas de uma classe protegida (Título VII da Lei dos Direitos Civis de 1964, Pub. L. 88-352, § 2000e-2 [Seção 703]).
Em outras palavras, uma medida pode ser legalmente permitida ou ‘justa’, mas não avançar ou se alinhar com os objetivos de DEI. DEI trata-se de construir uma força de trabalho que seja representativa da população como um todo. É um compromisso genuíno em contratar pessoas de diferentes origens, com diferentes experiências e perspectivas. No espaço de seleção, isso significa construir medidas que não apenas atendam aos padrões legais, mas também aos éticos. Nesse cenário, nosso desafio era minimizar as diferenças de pontuação relacionadas à idade sem sacrificar a qualidade da medida.
O que está causando as diferenças de pontuação?
Ao explorar os dados, fizemos uma descoberta interessante. Outro fator havia ampliado as diferenças de pontuação – o uso de acessórios. Nos estudos pilotos, os testadores podiam usar qualquer acessório para completar a medida, como uma tela sensível ao toque, mouse ou trackpad. Aqueles que usavam uma tela sensível ao toque se saíam mais precisos e rápidos do que os indivíduos que usavam um mouse ou trackpad. Poucos indivíduos mais velhos usavam uma tela sensível ao toque.
Após uma análise mais aprofundada, descobrimos que os indivíduos mais velhos (com mais de 40 anos) que usavam uma tela sensível ao toque se saíam cerca de 36% melhor do que seus colegas que usavam um trackpad e 9% melhor do que colegas que usavam um mouse. Isso era verdade mesmo se o usuário da tela sensível ao toque expressasse pouca confiança com a tecnologia. Além disso, as diferenças de pontuação entre indivíduos com menos de 40 anos e mais de 40 eram menores quando ambos os grupos etários usavam uma tela sensível ao toque, em vez de um mouse ou trackpad.
Isso não era algo que esperávamos encontrar. Enquanto muitos pesquisadores de tecnologia concordam que as telas sensíveis ao toque são o dispositivo de entrada mais rápido e confortável em geral (Ulrich et al., 2015), a pesquisa específica por idade diz que indivíduos mais velhos tendem a ter dificuldades com telas sensíveis ao toque e se saem melhor em tarefas de computador com um mouse, especialmente quando a tarefa tem uma tela em movimento como a do nosso protótipo (Wood et al., 2005; Guedes et al., 2020). Ainda assim, descobrimos que o oposto era verdadeiro – os indivíduos mais velhos se saíam muito bem com uma tela sensível ao toque.
Contratação e considerações relacionadas à idade
Há uma lição importante a ser aprendida com essa pesquisa: evite fazer suposições sobre grupos etários (ou qualquer subgrupo) que possam impedir uma exploração adicional das diferenças de pontuação. Assumir inicialmente que qualquer medida com um componente de velocidade levaria a diferenças de pontuação relacionadas à idade nos distraiu de investigar o impacto dos acessórios. Após descobrirmos a influência conjunta do acessório e da idade nas pontuações, percebemos um novo modo de lidar com essa preocupação de DEI relacionada à idade. A melhor maneira de minimizar as diferenças de pontuação pode exigir que você não apenas aborde a medida em si, mas também a maneira como as pessoas interagem com a medida.
Para aqueles que projetam e usam avaliações tecnologicamente avançadas, eu recomendo o seguinte:
- – Tenha cuidado ao criar ou usar medidas com um componente de velocidade, pois isso pode inadvertidamente excluir candidatos a emprego mais velhos. Use esses tipos de ferramentas quando as habilidades relacionadas à velocidade forem realmente relacionadas ao trabalho.
- – Tente padronizar os acessórios usados nos testes, pois as diferenças podem impactar as pontuações. Considere fornecer ou recomendar que todos os candidatos usem (ou não usem) um acessório específico.
- – Garanta que os candidatos à vaga estejam bem preparados e confortáveis com seu acessório escolhido, oferecendo amplas oportunidades de prática e instrução antes da avaliação.
Fontes:
Dickerson, A., Taylor, R. G., Register, J., & Miller, M. (2023). The Impact of Age, Sex, and Position on Visual-Motor Processing Speed and Reaction Time as Measured by the Vision Coach. Occupational Therapy In Health Care. doi: 10.1080/07380577.2023.2176965
Gilles, M. A., Gaudez, C., Savin, J., Remy, A., Remy, O., & Wild, P. (2022). Do age and work pace affect variability when performing a repetitive light assembly task?. Applied Ergonomics, 98, 103601.
Outtz, J. L. (2002). The role of cognitive ability tests in employment selection. Human performance, 15(1-2), 161-171.
Soares Guedes, L., CA Ribeiro, C., & Ounkhir, S. (2020, December). How Can We Improve the Interaction of Older Users With Devices?. In Proceedings of the 9th International Conference on Software Development and Technologies for Enhancing Accessibility and Fighting Info-exclusion (pp. 158-162).
Ulrich, T. A., Boring, R. L., & Lew, R. (2015). Control board digital interface input devices – touchscreen, trackpad, or mouse? Resilience Week (RWS) (pp. 1-6). Philadelphia, PA, USA. doi: 10.1109/RWEEK.2015.7287438.
U.S. Equal Employment Opportunity Commission. (2023, March 8). Employment tests and selection procedures. Retrieved from https://www.eeoc.gov/laws/guidance/employment-tests-and-selection-procedures
Welford, A. T. (1988). Reaction time, speed of performance, and age. Ann NY Acad Sci, 515, 1-17.
Wood, E., Willoughby, T., Rushing, A., Bechtel, L., & Gilbert, J. (2005). Use of computer input devices by older adults. Journal of Applied Gerontology, 24(5), 419-438.
