Eclusa, by Aule

v2.0

Instale no seu workspace, rode o setup e registre uma linha de configuração por dataset. A Eclusa executa carga, qualidade e auditoria sem exigir um pipeline novo para cada fonte.

Agende uma demoVeja como funciona

Requer um workspace Databricks com Unity Catalog habilitado. Nada roda fora dele.

eclusa.whl

instalada no cluster, sem serviço externo

instala
catálogo de controleuma linha por dataset
source.format
csv
load.strategy
merge
quality.severity
fail
valida o contrato
qualidaderegra bloqueante impede a escrita
escreve
bronzefonte fiel, auditada por execução01
silvercontrato tipado e qualidade aplicados02
goldcamada de consumo, modelada03

A fundação repetida

Os primeiros meses de uma plataforma de dados costumam ser consumidos por trabalho necessário, mas repetitivo.

Um pipeline por fonte

CSV, ERP, API e planilha viram implementações separadas, com padrões que divergem entre times.

Qualidade espalhada

Regras ficam distribuídas em notebooks e podem detectar o problema depois que o dado já foi escrito.

Execuções sem contexto comum

Logs, histórico e identificação de cada carga variam por projeto e dificultam rastrear falhas.

Como funciona

O fluxo é parameter-driven: configuração validada antes da execução e comportamento consistente em cada dataset.

  1. 01 / 04

    Instale

    Adicione a wheel Python ao workspace Databricks do cliente.

  2. 02 / 04

    Rode o setup

    O comando provisiona o catálogo de controle no Unity Catalog. É idempotente e pode ser reexecutado.

  3. 03 / 04

    Registre o dataset

    Defina fonte, destino, estratégia de carga e regras de qualidade em um contrato tipado.

  4. 04 / 04

    Execute

    O motor valida, ingere e registra a execução com qualidade e auditoria no ambiente do cliente.

Disponível hoje

design partners

Setup no Unity Catalog

Tabelas gerenciadas, sem mounts, paths fixos ou infraestrutura externa.

Contrato tipado

Configuração versionada e validada com fail-fast antes de executar.

Qualidade antes da escrita

Regras warn ou fail. Uma violação bloqueante impede que dado ruim entre.

Auditoria por execução

Cada carga recebe um run_id correlacionado e registrado no ambiente do cliente.

Convenções adaptáveis

O perfil padrão é medallion, mas a nomenclatura pode seguir o padrão do cliente.

CLI operacional

Setup, validação, registro e execução por comandos claros e reproduzíveis.

9 formatos de fonte

Suporte atual do motor batch, extensível por plugin sem alterar o núcleo.

CSVJSONParquetDeltaAvroXMLORCTextExcel

4 estratégias de carga

A estratégia é declarada por dataset e aplicada de forma consistente.

  • Overwrite
  • Append com deduplicação
  • Merge idempotente por chave
  • Replace-where atômico

Controle por arquitetura

O produto é instalado no workspace Databricks do cliente. A Aule não hospeda, acessa nem armazena os dados processados.

Dados no seu ambiente

Configuração, execução e auditoria permanecem dentro da nuvem e das políticas do cliente.

Sem serviço externo

O setup usa tabelas do Unity Catalog e não depende de banco ou infraestrutura do fornecedor.

Perguntas técnicas

Agende uma demo