NovoOrquestração de pipelines com execução condicional

Plataforma de IA, Analytics e Ciência de Dados

Data Lakehouse e Data Warehouse na mesma plataforma: streaming com Apache Kafka, transformação em SQL e SparkSQL com SQLMesh sobre Apache Spark, OLAP in-memory para Classic Analytics, AI Data Analytics com text-to-SQL governado e Data Science em Python. Implantação on-premises, sem licença por usuário.

Agendar demonstração Explorar a plataforma

Plataforma

Uma plataforma para todo o ciclo do dado, da ingestão ao agente

Ingestão em batch, CDC e streaming, transformação em SQL e SparkSQL com SQLMesh, modelagem dimensional, camada semântica, OLAP in-memory, IA e Data Science operam sobre o mesmo catálogo. Um controle de acesso, um modelo de métricas e um histórico de execução para todos os módulos.

nebula coreon-premises

catálogo unificadoMetadados do lakehouse indexados e servidos de snapshot, sem varredura a cada acesso.

camada semânticaMétricas, dimensões e relações versionadas, consumidas por BI, IA e SQL.

text-to-SQL governadoSQL validada antes de tocar o dado e executada no motor do cliente.

Analytics AIAI Data Analytics

Linguagem natural compilada em SQL validado contra o catálogo e a camada semântica. Cada resposta traz resultado, leitura estatística e a consulta executada.

Analytics BIOLAP in-memory

Classic Analytics com seleção associativa sobre datasets colunares materializados em memória, marcadores de recorte, versões publicadas e modo TV.

PipelinesSQL · SQLMesh

Data Transformation em SQL e SparkSQL com modelos SQLMesh: tabela, SQL, notebook, teste, destino e chamada de pipeline num DAG com arestas de sucesso, erro e conclusão, e gravação transacional.

MLData Science

Feature engineering em SparkSQL, treino com Spark MLlib e scoring em notebooks Python (PySpark), Scala e R, executados como etapa versionada do pipeline.

Automaçõeseventos e agenda

Gatilhos por calendário, conclusão de carga ou falha de teste disparam pipelines, recargas da camada semântica e notificações.

Agentesferramentas governadas

Agentes de IA consultam o catálogo, leem métricas da camada semântica e executam SQL com as permissões do perfil que os aciona.

Arquitetura de dados

Do streaming ao insight em um único lakehouse

Ingestão contínua com Apache Kafka e Spark Structured Streaming, transformação em SQL e SparkSQL com SQLMesh na arquitetura medallion, modelo dimensional de Data Warehouse sobre a camada gold e OLAP in-memory servindo Classic Analytics e AI Data Analytics. Notebooks Python leem e gravam no mesmo catálogo, sob as mesmas permissões.

construa sua arquitetura· lakehouse medallion

Apache KafkaTópicos particionados, offsets por consumer group840 eventos/s

Spark Structured StreamingMicro-batches de 2 s com watermark de 10 minexactly-once

BronzeAppend em tabela ACID com o esquema de origem preservadocheckpoint

SilverDeduplicação por chave e MERGE incremental de eventos tardioslate data

Painel operacionalRecarga incremental do dataset OLAP a cada micro-batch≈ 5 s ponta a ponta

entregaOffsets do Kafka confirmados junto com o commit da tabela: reprocessar um micro-batch não duplica linhas na camada bronze.

Analytics AI

AI Data Analytics: text-to-SQL ancorado no catálogo e na camada semântica

O motor de text-to-SQL combina o catálogo do lakehouse, o mapa da camada semântica, a base de conhecimento e o vocabulário de negócio. Toda consulta gerada passa por validação somente leitura antes de executar no motor do cliente.

contexto: Tabelas, colunas e tipos do catálogo; métricas e relações da camada semântica; trechos da base de conhecimento; sinônimos de negócio.
validação: Parser de instrução única: comentários e literais são removidos antes da análise, só SELECT e WITH chegam ao motor, e DDL, DML ou comandos de sessão são rejeitados antes de qualquer leitura.
execução: No motor de consulta do cliente, com a conta de serviço da conexão. Rejeição do motor dispara uma nova geração automática.
leitura estatística: Último valor, variação e média do período calculados sobre as linhas retornadas, fora do modelo de linguagem.
privacidade: Linhas de resultado não são enviadas ao provedor; colunas vetadas ficam fora do prompt; chave de API mantida apenas no servidor.
modelos: Claude e ChatGPT, selecionáveis por instalação.
observabilidade: Latência p50 e p95, tokens por resposta e fila de revisão para respostas marcadas como imprecisas.

Analytics AI· DRE gerencialsimulação

Controladoria 09:41

qual foi a margem EBITDA por mês nos últimos 12 meses?

NebulaCore AI 09:41

Margem EBITDA mensal, calculada como EBITDA sobre receita líquida, a partir dos lançamentos contábeis por competência dos últimos 12 meses fechados.

camada semântica EBITDA → medida ebitda · DRE gerencial

leitura calculada sobre 12 linhas

Último18,4%

Variação+2,8 p.p.

Média16,9%

consulta executadasomente leitura

WITH dre AS (
  SELECT date_trunc('month', l.data_competencia) AS mes,
         sum(l.valor) FILTER (WHERE c.grupo_dre = 'RECEITA_LIQUIDA') AS receita_liquida,
         sum(l.valor) FILTER (WHERE c.grupo_dre IN ('RECEITA_LIQUIDA', 'CPV', 'DESPESAS_OPERACIONAIS')) AS ebitda
  FROM lancamento_contabil l
  JOIN plano_de_contas c ON c.conta_id = l.conta_id
  WHERE l.data_competencia >= date_add('month', -12, date_trunc('month', current_date))
  GROUP BY 1
)
SELECT mes, round(100.0 * ebitda / nullif(receita_liquida, 0), 1) AS margem_ebitda
FROM dre ORDER BY mes

12 linhas · 380 ms · 6.912 tokensenviado: 34 colunas · 0 linhas

Analytics BI

Classic Analytics com OLAP in-memory sobre métricas governadas

Os datasets da camada semântica são materializados num motor OLAP colunar in-memory, com execução vetorizada e compressão por dicionário. Seleções e filtros se propagam por todas as visualizações pelas chaves do modelo, sem nova consulta à origem. Selecione uma unidade de negócio ou um componente da receita.

DRE gerencial· exercício 2026, acumuladodados de exemplo

Receita líquida por unidade de negócioR$ mi

Receita líquida0

EBITDA0

Margem EBITDA0

MarcadoresEstados de seleção salvos com nome e reaplicados em um clique, inclusive por perfis de leitura.

VersõesCada publicação gera uma versão restaurável; painel publicado em espaço compartilhado é somente leitura.

Carga agendadaRecarga da camada semântica por intervalo ou por calendário, no fuso do servidor.

DistribuiçãoNavegador sem cliente instalado, widgets na tela inicial e modo TV em tela cheia.

Pipelines

Data Transformation em SQL, SparkSQL e SQLMesh, do lançamento bruto à camada gold

Pipelines declarados como DAG sobre a arquitetura medallion (bronze, silver e gold), com transformações em SQL modeladas no SQLMesh e executadas em SparkSQL, execução condicional por aresta, testes de qualidade como etapa e gravação transacional no destino. Um pipeline orquestrador encadeia outros pipelines, com detecção de ciclo e profundidade máxima de 6 níveis.

fechamento_contabil_mensal· disparo manual sucessoerroconclusão

Execução #128 · na fila8 etapas · 7 arestas condicionais

00:00,0

Tipos de etapaTabela, SQL, notebook, teste de qualidade, destino e chamada de pipeline.

Escrita no destinoMERGE, sobrescrita via tabela de staging ou inserção, em transação.

Execução auditávelOrdem topológica; status, duração e motivo de cada etapa pulada registrados por execução.

sqlmesh· fechamento_contabilprod

Modelos SQL versionados com SQLMesh

As transformações em SQL são declaradas como modelos SQLMesh. Cada alteração gera um plano com o diff semântico contra produção, o backfill processa só os intervalos afetados e a promoção troca as views do ambiente virtual, sem recalcular tabelas.

plan e apply: Diff por modelo, classificação da mudança em breaking ou non-breaking e aplicação atômica no ambiente alvo.
ambientes virtuais: dev e prod compartilham as tabelas físicas pela impressão digital do modelo; promover é atualizar a camada de views.
incremental: INCREMENTAL_BY_TIME_RANGE por competência: só os intervalos ausentes ou alterados são processados.
qualidade: Audits bloqueantes e testes unitários de modelo antes de qualquer backfill.
execução: SQL transpilado para o dialeto Spark e executado em SparkSQL no cluster, com lineage em nível de coluna.

Data Science

Data Science em Python e Apache Spark, do notebook à etapa de produção

Notebooks com kernels Python (PySpark), SparkSQL, Scala e R executados no cluster Apache Spark, com leitura direta das tabelas gold do lakehouse. Feature engineering em SparkSQL, treino distribuído com Spark MLlib e scoring em lote viram etapas versionadas do pipeline, disparadas depois da carga gold.

previsao_receita· PySparkexemplo

[3] python✓ 14,2 s

from pyspark.ml.feature import VectorAssembler
from pyspark.ml.regression import GBTRegressor

base = spark.table("gold.dre_mensal").where("unidade = 'Varejo'")
dados = VectorAssembler(
    inputCols=["receita_lag_1", "receita_lag_12", "dias_uteis", "ticket_medio"],
    outputCol="features").transform(base)

treino, teste = dados.randomSplit([0.8, 0.2], seed=42)
modelo = GBTRegressor(labelCol="receita_liquida", maxDepth=5).fit(treino)
previsto = modelo.transform(teste)

[4] avaliação · conjunto de teste✓ 2,1 s

RMSER$ 0,41 mi

MAPE3,8%

R²0,94

Meses36

sessões: Python (PySpark), SQL, Scala e R no cluster, com execução por célula, execução completa, cancelamento e reinício do kernel.
dados: Leitura direta das tabelas do lakehouse pelo catálogo, sem exportação para fora do ambiente.
produção: O notebook entra no pipeline como etapa e roda depois da carga gold, condicionado ao sucesso dela.
rastreabilidade: Versões do notebook, comentários e histórico de execução com status e duração.

Automações e agentes

Automação orientada a eventos e agentes com ferramentas governadas

Automações reagem a eventos da plataforma; agentes de IA executam tarefas analíticas com ferramentas sobre o catálogo e a camada semântica. Os dois operam com as permissões de um perfil e registram cada ação.

Automações· controladoriaexemplo

QUANDOa carga do modelo DRE gerencial concluirENTÃOrecarregar os painéis financeiros publicados

QUANDOo teste partidas_dobradas falharENTÃOnotificar a controladoria com o resumo da divergência

QUANDOfor o 1º dia útil do mês, 06:00ENTÃOexecutar fechamento_contabil_mensal

analista_fpa· agenteexemplo

catalogo.buscar("despesas operacionais")3 tabelas · 12 colunas relevantes

semantica.medida("margem_ebitda", por="unidade")definição versionada v14

sql.executar(somente_leitura=True)5 linhas · 212 ms

resposta.redigir()E-commerce com margem EBITDA de 12,9%, 7,2 p.p. abaixo do Varejo

perfil: Desenvolvedor BIescrita: bloqueadaregistro: cada chamada

Governança unificada

Acesso, propriedade e execução em uma única camada de controle

Dados, motores de consulta e chaves de API permanecem no servidor do cliente. Perfis definem o acesso a cada tela, e cada objeto tem dono e visibilidade.

autenticação: Senha com hash scrypt; sessão em cookie HttpOnly, com o token armazenado como hash.
autorização: Cinco perfis com nível por tela: sem acesso, leitura ou total. Gravação exige nível total.
objetos: Painéis, notebooks e pipelines com dono e visibilidade por espaço; versão publicada não aceita edição.
classificação: Camadas, domínios e tiers cadastrados pelo administrador; classificação em uso não pode ser excluída.
IA: Nenhuma linha de resultado enviada ao provedor; colunas vetadas fora do prompt; chave de API apenas no servidor.
implantação: On-premises, no servidor do cliente, com histórico de execuções de pipelines, notebooks e cargas.

Arquitetura

Desempenho, consistência e confiabilidade por construção

Três decisões explicam o comportamento da plataforma em produção: onde o dado é lido, onde a métrica é definida e o que é verificado antes de executar.

Desempenho

Materialização colunarPainéis leem datasets já carregados em memória; seleção e filtro não consultam a origem.
Catálogo em snapshotEsquemas, tabelas e colunas revalidados em segundo plano, com requisições simultâneas deduplicadas.
Consulta distribuídaLeitura do lakehouse por motor de consulta paralelo, sem cópia de dados.

Consistência

Camada semântica únicaMétricas definidas uma vez e reutilizadas por painéis, IA e agentes.
Publicação imutávelVersão publicada não aceita edição, inclusive pelo autor; alterações partem de uma cópia.
Leitura derivada do resultadoIndicadores citados pela IA calculados das linhas retornadas.

Confiabilidade

SQL somente leituraToda consulta gerada pela IA passa pelo parser de instrução única antes de chegar ao motor de consulta.
Escrita transacionalMERGE, sobrescrita via staging ou inserção no destino.
DAG verificadoArestas condicionais, ordem topológica e recusa de ciclos ao salvar.

Dados, métricas e IA no mesmo catálogo, dentro do seu servidor.

Data Lakehouse, Data Warehouse, streaming, camada semântica, text-to-SQL, transformações em SQL com SQLMesh e Data Science compartilhando permissões, versões e histórico de execução.

Licenciamento

Sem cobrança por usuário ou por objeto publicado

usuários: Ilimitados. O acesso é controlado por perfil, sem custo por conta.
implantação: Instalação no ambiente do cliente, modelagem do primeiro domínio de dados e capacitação da equipe.
publicação: Painéis, modelos, pipelines e notebooks sem custo adicional por objeto.

Fale conosco

Leve a plataforma para o seu cenário de dados

Descreva fontes, volumes e indicadores que precisam ser entregues. Respondemos com uma proposta de demonstração técnica sobre um domínio de dados da sua empresa.

Text-to-SQL sobre o seu catálogo, com SQL auditável
Painel associativo com as métricas do seu domínio
Pipeline orquestrado com execução condicional

ou escreva para [email protected]