Categoria: Sem categoria

Em junho de 2019, a F-Secure concluiu a Avaliação MITRE ATT&CK e estamos animados em anunciar que os resultados agora estão listados publicamente no site da MITRE aqui.

Nesta postagem, vamos revelar como nosso agente de detecção e resposta de endpoint (EDR) se saiu:

• Cobertura de telemetria

• Cobertura de detecção

• Modificadores – atrasados ​​e contaminados

Em seguida, forneceremos orientações sobre outros elementos nos quais você deve levar em consideração ao contratar um fornecedor de EDR, bem como nossa opinião sobre o que outros fornecedores você poderia considerar.

Não conhece o MITRE e sua avaliação? Saiba mais aqui e aqui.

Então como fomos?

Os resultados do EDR da F-Secure – usados ​​em nossa solução de detecção e resposta gerenciada, F-Secure Countercept – foram muito positivos.

Obtivemos uma pontuação alta em muitos dos testes, mostrando que a plataforma F-Secure Countercept fornece os conjuntos de dados e a lógica de detecção necessários para detectar de maneira abrangente um ator de ameaça do estado nacional, como o APT3 (que foi o foco da Rodada 1).

Os resultados são baseados em 20 fases de ataque divididas em 105 casos de teste, que depois se expandem para 136 itens no total, para os quais você pode demonstrar recursos. Analisaremos algumas das principais conclusões.

Cobertura de telemetria

A cobertura de telemetria é uma das métricas mais úteis na Avaliação MITRE, pois mostra quanta visibilidade uma ferramenta provavelmente lhe dará em diferentes vetores de ataque. Isso pode ser calculado observando quais dos 136 casos de teste tinham informações disponíveis (não "nenhuma"). O gráfico abaixo mostra como o F-Secure Countercept foi um dos melhores desempenhos em termos de cobertura total de telemetria, com pontuação de 122/136.

Por que nossas pontuações aqui são ligeiramente superiores às de outros fornecedores?

Parte do motivo pelo qual obtivemos pontuações um pouco mais altas aqui foi porque capturamos eventos do Windows, dados WMI e .NET, o que nos dá alguma visibilidade adicional. No entanto, em geral, você notará que muitos fornecedores tiveram pontuações bastante semelhantes ao capturar os mesmos conjuntos de dados, como eventos de processo, rede, arquivo e PowerShell.

Um ponto sutil que não é capturado na Avaliação MITRE é que muitos fornecedores confiam apenas na coleta de dados em tempo real. O F-Secure Countercept é único, pois nosso agente EDR também contém scanners periódicos que capturam dados de persistência e anomalias de memória. Portanto, mesmo em cenários pós-violação, podemos descobrir a atividade que aconteceu no passado, sem a necessidade de um evento em tempo real.

Analisando detecções

Grande parte da Rodada 1 é focada na atribuição de categorias de detecção (enriquecimento / comportamento geral / comportamento específico) para testar casos com base na quantidade de informações fornecidas por cada produto.

Algumas das limitações dessa abordagem foram discutidas em outras postagens, portanto não as abordaremos aqui, mas queremos destacar que, ao avaliar os recursos de detecção, há uma grande diferença entre alertas úteis de alta fidelidade, alertas de baixa fidelidade e enriquecimentos.

Alertas de alta fidelidade ajudam a detectar rapidamente atividades maliciosas genuínas

Alertas ou enriquecimentos de baixa fidelidade ajudam você a caçar ameaças ou durante uma investigação.

 O desafio da primeira rodada é que o MITRE coletou os dados de enriquecimento, mas infelizmente não é a primeira parte, mais valiosa – as detecções de alta fidelidade -, por isso é complicado comparar significativamente os recursos de detecção de diferentes produtos. Talvez seja mais fácil comparar os recursos de investigação, embora aqui os principais fatores como correlação, fluxo de trabalho e resposta não tenham sido medidos, dificultando a comparação precisa de produtos.

Para tentar medir o desempenho dos fornecedores, a Forrester publicou um script de avaliação que conta e pontua as detecções. Usando sua métrica de pontuação simples, o F-Secure Countercept alcançou uma das pontuações mais altas de 376.

Isso significa que nosso EDR é "melhor"?

Potencialmente, mas não necessariamente. A pontuação no script Forrester dá mais peso aos comportamentos não atrasados, que superam nossa pontuação. Isso indica que nosso EDR possivelmente fornece mais contexto e é melhor para investigação, mas isso não significa necessariamente uma melhor detecção.

Com os dados limitados na primeira rodada, é possível avaliar a capacidade de detecção?

Uma abordagem seria examinar a cobertura da detecção, assumindo que os enriquecimentos e os comportamentos são iguais (em termos de potencial de detecção) e removendo as detecções atrasadas – normalmente estão relacionadas a serviços gerenciados, enquanto aqui focamos apenas o produto.

Lembre-se de que nem todos os casos de teste são iguais. De fato, na Rodada 1 – com base nos dados reais do F-Secure – estimamos que apenas 25% dos casos de teste (talvez menos) possam ser usados ​​para detecção direta; os 75% restantes exigiriam correlação para detecção ou seriam usados ​​como enriquecimento durante uma investigação.

Levando isso em consideração, obtemos o seguinte:

O F-Secure teve um bom desempenho na cobertura de detecção, assim como Palo Alto, FireEye e Carbon Black. O mais interessante aqui são os resultados de alta fidelidade, que são muito mais baixos em média e refletem melhor a eficácia do mundo real dos produtos EDR. Observe também que as diferenças absolutas nos resultados de alta fidelidade são insignificantes entre os principais fornecedores.

E a correlação?

Na Rodada 1, um modificador "contaminado" foi usado para determinar se uma detecção dependia de atividade anterior (que pode ser positiva e negativa). Na primeira rodada, o F-Secure Countercept não teve detecções contaminadas porque conseguimos demonstrar detecções diretas.

No entanto, nossa plataforma usa correlação para detecção e investigação, como mostra algumas das capturas de tela, mas isso não foi registrado diretamente na Rodada 1. Por enquanto, excluímos a correlação de nossa análise, embora as boas notícias sejam que MITRE está adicionando um modificador correlato explícito na segunda rodada.

Eu queria terminar esta seção com uma citação de MITRE:

"A avaliação se concentra em articular como as detecções ocorrem, em vez de atribuir pontuações aos recursos do fornecedor".

Embora seja tentador tentar pontuar fornecedores adicionando a contagem total de detecções, você geralmente obtém mais valor analisando qualitativamente os resultados. Pense na qualidade, não na quantidade.

Limitações na Rodada 1

A avaliação da Rodada 1 é um excelente começo para fornecer um conjunto genérico de teste de alto nível que pode ser aplicado a qualquer solução EDR. No entanto, existem algumas limitações:

Todos os casos de teste são tratados da mesma forma (quando não é o caso no mundo real)

Está em um ambiente de ruído zero

O fluxo de trabalho de investigação não foi testado

As tarefas de resposta não são usadas

O elemento humano é omitido

Como tal, a Rodada 1 não deve ser usada isoladamente como um meio de avaliar produtos de EDR.

Recomendamos o uso das métricas de telemetria e detecção de alto nível, bem como as capturas de tela da IU da primeira rodada, como ponto de partida para ajudá-lo a selecionar os fornecedores.

Para avaliar adequadamente uma ferramenta, você provavelmente precisará instalá-la e testá-la (idealmente com alguns ataques e fluxos de trabalho simulados).

Qual é o agente EDR certo para sua organização?

Muitos fornecedores fizeram afirmações ousadas sobre por que são melhores que seus concorrentes. Na F-Secure, somos um pouco diferentes. Achamos que existem muitos bons produtos EDR por aí que são muito semelhantes ao que desenvolvemos para o F-Secure Countercept. A avaliação do MITRE demonstra isso muito bem.

O EDR é um componente essencial da detecção de ataques, com as pessoas por trás disso causando um enorme impacto em sua eficácia. No F-Secure Countercept, nosso foco é a detecção e resposta gerenciadas, combinando nosso agente de EDR com algumas das melhores pessoas do setor. Se você deseja que alguns dos melhores caçadores de ameaças do mundo estejam de olho em você, entre em contato.

Referências:

https://go.forrester.com/blogs/measuring-vendor-efficacy-using-the-mitre-attck-evaluation/

https://blog.f-secure.com/why-should-you-care-about-mitre/

https://blog.f-secure.com/how-to-interpret-the-mitre-attck-evaluation/