TOTVS iPaaS - Instabilidade no TOTVS iPaaS – Detalhes do incidente

Todos os sistemas operacionais

Instabilidade no TOTVS iPaaS

Resolvido
Operacional
Começou em há cerca de 2 mesesDurado cerca de 2 horas

Afetado

Aplicação

Totalmente indisponível undefined 6:10 PM para 8:32 PM

Atualizações
  • Após a morte
    Após a morte

    🛑 Resumo do Incidente – Google Cloud e Workspace (12 de junho de 2025)

    Duração: 3 horas

    Regiões afetadas: Global (com recuperação mais lenta em us-central1, utilizada pelo TOTVS iPaaS)

    Serviços afetados: Diversos produtos do Google Cloud, incluindo APIs, interfaces de usuário, BigQuery, Compute Engine, Cloud Storage, entre outros.

    📌 O que aconteceu:

    Uma atualização automática de cotas inválida na GCP foi aplicada ao sistema de gerenciamento de APIs, gerando erros 503 nas chamadas externas e interrupções em serviços. A maioria das regiões se recuperou em até 2 horas, mas us-central1 teve sobrecarga e demorou mais.

    💥 Impacto aos clientes:

    • APIs e interfaces intermitentes

    • Interrupção do serviço do TOTVS iPaaS

  • Resolvido
    Resolvido

    Todos os serviços utilizados no TOTVS iPaaS foram reestabelecidos.

    Para acompanhar o incidente da GCP acesse: https://status.cloud.google.com/incidents/ow5i3PPK96RduMcb1SsW

  • Atualizar
    Atualizar

    O serviço de database e storage foi reestabelecido, ainda com bastante lentidão.

    Estamos monitorando a plataforma, aonde já é possível logar.

  • Monitoramento
    Monitoramento

    Os engenheiros da google identificaram a causa raiz e aplicaram as devidas medidas de mitigação.

    Embora os engenheiros tenham confirmado que a dependência subjacente foi recuperada em todas as localidades, exceto em us-central1 (O que usamos no TOTVS iPaaS primáriamente), ainda estamos enfrentando diferentes níveis de impacto em produtos individuais do Google Cloud. Todas as equipes de engenharia responsáveis estão ativamente envolvidas e trabalhando na recuperação dos serviços.

    Ainda não temos uma estimativa para a recuperação completa dos serviços.

  • Atualizar
    Atualizar

    Resumo: Vários produtos do GCP estão enfrentando problemas de serviço.

    Descrição: Estamos enfrentando problemas de serviço com vários produtos do GCP desde quinta-feira, 12 de junho de 2025, às 15:20

    Equipe do google continua investigando o problema. Pedimos desculpas a todos os afetados pela interrupção.

    Sintomas: Vários produtos do GCP estão apresentando diferentes níveis de impacto nos serviços.

    Solução alternativa: Nenhuma no momento.

  • Identificado
    Identificado

    Estamos enfrentando uma interrupção de conexão com os serviços da Google Cloud Platform (GCP).

    No momento, todos os nossos serviços hospedados na GCP estão indisponíveis. Nossa equipe está em contato com o provedor para identificar a causa e restabelecer a conectividade o mais rápido possível.

    Agradecemos a compreensão e manteremos novas atualizações por este canal.

  • Investigando
    Investigando
    We are currently investigating this incident.