Estudo de caso: validação de modelos de Machine Learning na mineração

Validação de modelos preditivos na mineração

Neste artigo, abordamos a validação de modelos preditivos na mineração. Em um artigo anterior, revisamos a otimização de hiperparâmetros, processo que permite obter modelos com bom desempenho em dados não vistos. No entanto, a otimização é apenas uma parte do processo: ela permite selecionar um modelo candidato, que depois precisa ser validado para determinar se é adequado para uso na operação. Para mostrar como essa validação é realizada com sentido operacional, acompanharemos um caso concreto: um modelo que prevê a recuperação da planta.

Reconstrução do material processado

Nesse tipo de projeto, a validação começa pela reconstrução do material processado. Para isso, trabalhamos com quatro fontes principais:

• Registros de movimentação de minério: indicam a origem e a tonelagem do material alimentado em cada período.
• Polígonos de extração: permitem identificar as áreas, fases e bancadas de onde provém o minério.
• Modelo de blocos: fornece as características geológicas e geometalúrgicas do material extraído.
• Informações de estoques: descrevem o material armazenado que posteriormente é incorporado à alimentação da planta.

Ao integrar essas quatro fontes, é possível reconstruir o material processado, aplicar o modelo e comparar a recuperação prevista com a registrada pela planta. A partir dessa reconstrução, a validação avança em dois níveis: primeiro, avalia-se a capacidade preditiva do modelo em dados reservados; depois, verifica-se se ele representa adequadamente a mistura que chega à planta.

Nota: para proteger a confidencialidade, as figuras deste artigo utilizam dados artificiais construídos a partir de padrões operacionais reescalados, deslocados e perturbados; eles não preservam datas, valores nem resultados de nenhuma operação específica.

Primeiro nível: capacidade preditiva em dados reservados

O primeiro nível avalia o modelo em um conjunto de teste que não participou nem do treinamento nem da otimização. Cada ponto representa uma observação reservada para essa avaliação. Em vez de recorrer a uma única métrica, utilizamos um painel com várias perspectivas complementares.

• Dispersão entre o valor real e o previsto, com densidade: posiciona cada observação de acordo com sua recuperação real e prevista em relação à linha de identidade 1:1. A densidade mostra onde se concentra a maior parte dos dados, e o mesmo painel apresenta R², RMSE e MAE para resumir o ajuste e a magnitude dos erros.
• Boxplot comparativo: compara as distribuições da recuperação real e da prevista. Medianas, dispersões e amplitudes semelhantes indicam que o modelo reproduz a distribuição geral da variável-alvo, e não apenas observações individuais.
• Boxplot do erro absoluto: resume a magnitude das diferenças entre os valores reais e previstos. São desejáveis uma mediana baixa e uma quantidade limitada de erros extremos.
• Gráfico de probabilidade acumulada: compara as duas distribuições em toda a sua amplitude, permitindo detectar diferenças que podem não aparecer nas métricas globais.

Esse painel cobre o primeiro nível da validação: a capacidade preditiva em dados reservados. No entanto, para completar a avaliação do caso, é necessário verificar se esse desempenho se mantém ao representar o material que efetivamente chega à planta.

Segundo nível: a mudança de escala em direção à planta

É nesse ponto que surge a principal mudança de escala do problema. O modelo prevê na escala de uma amostra, um bloco ou outra unidade caracterizada, enquanto a planta processa uma mistura proveniente de diferentes fases, bancadas e estoques. Um modelo pode prever bem essas unidades separadamente e, ainda assim, não reproduzir a recuperação da planta se a mistura real não for reconstruída corretamente.

A reconciliação aborda justamente essa mudança de escala: o mesmo modelo avaliado nos dados de teste é então aplicado ao material caracterizado do modelo de blocos e dos estoques, e suas previsões são cruzadas com os registros de movimentação e a tonelagem alimentada. A recuperação de cada período é calculada ponderando as contribuições pela tonelagem e pelo teor de alimentação, isto é, pelo conteúdo metálico, o que representa o balanço metalúrgico de forma mais fiel do que uma média simples.

A cobertura das informações também faz parte do cálculo: para cada período, determina-se qual proporção da tonelagem alimentada pôde ser caracterizada com informações da mina ou dos estoques. Somente são interpretados os períodos que superam um limite mínimo de cobertura, pois uma reconciliação baseada em uma pequena fração da alimentação pode produzir resultados enganosos.

Depois de reconstruída a mistura processada, define-se a escala temporal de comparação. Embora a recuperação da planta seja registrada diariamente, esses valores também refletem paradas, tempos de residência, mudanças na alimentação e variabilidade de medição que o modelo geometalúrgico não busca explicar diretamente. Por esse motivo, a reconciliação é realizada em escala semanal: a agregação reduz parte do ruído diário e permite observar com maior clareza o sinal associado ao material processado.

A interpretação da reconciliação não se limita à proximidade entre as curvas: também são analisadas as mudanças de nível, o viés persistente, a cobertura e a magnitude das diferenças. Uma divergência pontual pode estar associada a uma condição operacional não representada pelas características do minério, mas essa hipótese deve ser verificada nos registros do processo antes que uma causa seja atribuída.

Para complementar essa leitura temporal, a mesma comparação pode ser expressa como uma razão por meio do fator F0, calculado como a recuperação da planta dividida pela recuperação prevista. Um valor igual a 1 representa concordância; valores superiores ou inferiores indicam o desvio relativo em relação à previsão. Diferentemente da série temporal, o F0 permite identificar diretamente os períodos fora da tolerância definida para a reconciliação.

Três perspectivas, um único processo

As três perspectivas apresentadas se conectam em um único processo: o painel de teste mede o desempenho estatístico, a reconciliação verifica como o modelo se comporta ao representar a mistura processada, e o fator F0 resume o desvio relativo entre a recuperação real e a prevista. Em conjunto, elas permitem acompanhar o modelo desde sua avaliação preditiva até sua aplicação na planta.

Esse percurso responde ao objetivo específico de prever a recuperação e não constitui uma metodologia universal. Cada tipo de projeto necessita de seu próprio processo de validação, adaptado à variável prevista, à escala em que o modelo será utilizado e às condições da operação. Para a recuperação da planta, faz sentido reconciliar por tonelagem e conteúdo metálico; já para estimar a recuperação rougher, a mineralogia ou variáveis de cominuição, são necessárias outras escalas, métricas e critérios de aceitação.

Um trabalho multidisciplinar

O desenvolvimento desse processo adaptado exige o trabalho conjunto de diferentes disciplinas: o cientista de dados projeta a avaliação e quantifica o erro, enquanto os geólogos fornecem o conhecimento necessário para representar o material e julgar se as comparações fazem sentido geológico. A validação do modelo surge, precisamente, da integração dessas disciplinas.

Essa visão conjunta permite distinguir entre selecionar um bom modelo e demonstrar que ele pode ser utilizado na operação. A otimização de hiperparâmetros permite selecionar um modelo candidato; a validação determina se esse modelo pode ser utilizado em um contexto operacional específico. O caso da recuperação da planta ilustra a ideia central: um modelo não é considerado confiável apenas por obter uma boa métrica nos dados de teste, mas por superar um processo de validação desenvolvido especificamente para o problema e para as condições particulares de cada projeto.