OpenAI disponibiliza Decisions API para aplicativos de negócios
A OpenAI tirou a Decisions API da fase beta. A ferramenta permite que aplicativos de negócios classifiquem dados e direcionem tarefas sem pagar por tokens de saída.
Em 22 de outubro, a OpenAI tirou sua Decisions API (abre em nova aba) da fase beta e a tornou amplamente disponível. Esta ferramenta permite que softwares classifiquem textos e imagens, avaliem entradas e determinem os próximos passos sem gerar uma resposta completa do modelo. Para uma pequena ou média empresa, isso altera o custo de incorporar a inteligência artificial nas operações diárias. Em vez de pagar a um modelo de linguagem para escrever um processo de raciocínio toda vez que um cliente envia um e-mail, uma empresa pode usar um modelo leve para simplesmente fazer uma escolha de direcionamento. Isso reduz tanto o atraso quanto o custo dos fluxos de trabalho automatizados.
Afastando-se da geração de texto
A maioria das empresas interage com a inteligência artificial por meio da geração de texto. Um usuário envia um comando e o modelo responde com um parágrafo. Quando as empresas constroem ferramentas internas, elas frequentemente forçam esse processo de geração de texto a atuar como um roteador. Elas pedem ao modelo para ler um chamado de suporte e responder com uma única palavra, como o nome de uma categoria. Este método é lento e caro porque o modelo processa a solicitação como uma tarefa de escrita criativa, gerando tokens um por um.
A Decisions API muda essa estrutura. Ela usa um modelo específico chamado gpt-6-luna. Em vez de escrever texto, a interface é projetada para lidar com a lógica de fluxo de trabalho de alta frequência dentro de aplicativos de negócios. Ela aceita entradas JSON nativas, o que significa que os desenvolvedores podem passar dados estruturados do aplicativo diretamente para o modelo sem convertê-los primeiro em um comando de conversação.
O sistema pode processar até 400 perguntas em uma única solicitação. A OpenAI observou que essa capacidade permite que os desenvolvedores tomem o dobro de decisões em uma única chamada. Isso permite que uma empresa avalie um único comentário de cliente em relação a dezenas de critérios de uma só vez, verificando urgência, sentimento, menções a produtos e requisitos de direcionamento simultaneamente.
Os custos exatos
A estrutura de preços reflete o afastamento da geração de texto. A OpenAI cobra US$ 0,10 por milhão de tokens de entrada para a Decisions API. Como o modelo não gera texto de conversação, não há nenhuma cobrança por tokens de saída. Uma empresa paga apenas pelos dados que envia ao sistema.
A interface também inclui o cache automático de comandos. Quando um aplicativo envia o mesmo grande bloco de contexto repetidamente, o sistema o memoriza. Para essas entradas em cache, o preço cai para US$ 0,01 por milhão de tokens.
Este mecanismo de cache é particularmente útil para aplicativos que processam históricos de bate-papo crescentes ou analisam várias perguntas em relação a um único documento grande. Desenvolvedores no fórum da OpenAI observaram que o cache se aplica à entrada principal em vez das perguntas individuais. Isso significa que uma empresa pode carregar um grande documento de política uma vez, pagar o custo inicial de entrada e, em seguida, executar várias tarefas de classificação baratas em relação a ele ao longo do dia.
O que isso significa para o seu negócio
Para uma empresa de 50 a 500 pessoas, a Decisions API torna a automação de alto volume prática. As equipes de suporte ao cliente recebem centenas de mensagens por dia. Anteriormente, usar um modelo de linguagem para ler e direcionar cada mensagem incorria em um alto custo de tokens e introduzia um atraso perceptível.
Uma empresa pode construir um software que classifica o conteúdo recebido e direciona os chamados de suporte ao cliente usando saídas estruturadas predefinidas. O sistema lê o e-mail, decide que ele pertence ao departamento de devoluções e o encaminha quase em tempo real. A OpenAI afirmou que a ferramenta está "pronta para adicionar decisões quase em tempo real" aos fluxos de trabalho de produção.
Essa capacidade também permite que os aplicativos determinem o próximo passo de um agente autônomo sem incorrer na latência total ou no custo de tokens de ciclos completos de geração. Se uma empresa usa um assistente interno de inteligência artificial para gerenciar o estoque, esse assistente precisa fazer dezenas de pequenas escolhas a cada minuto. Ele deve decidir se verifica um banco de dados, envia um e-mail a um fornecedor ou alerta um gerente humano. A Decisions API permite que o assistente faça essas escolhas de forma instantânea e barata.
Os líderes financeiros apreciarão os preços previsíveis. Ao eliminar as cobranças de saída, uma empresa pode prever seus custos de automação com base inteiramente no volume de dados recebidos. Uma empresa de logística que processa milhares de atualizações de entrega diariamente pode calcular exatamente quanto custará a lógica de direcionamento, sem se preocupar com um modelo gerando respostas incomumente longas que inflam a conta.
O que observar
A atualização inclui integração nativa com o GPT-Live. Esse recurso permite que aplicativos de voz reajam enquanto as pessoas falam. Uma empresa que constrói um agente de atendimento ao cliente baseado em voz pode usar a Decisions API para monitorar a conversa e acionar ações em segundo plano. Se um chamador mencionar um produto específico, o sistema pode recuperar instantaneamente o manual antes que o chamador termine sua frase.
As empresas devem observar como suas equipes de engenharia se adaptam às regras de cache. Para obter o preço mais baixo de US$ 0,01 por milhão de tokens, os desenvolvedores devem estruturar suas solicitações de modo que o grande contexto permaneça estático enquanto as perguntas curtas mudam. Se um aplicativo modificar constantemente o documento base, ele acionará a taxa mais alta sem cache de US$ 0,10 por milhão de tokens.
A atualização também permite imagens nas instruções de perguntas individuais. Isso significa que um sistema pode comparar várias imagens com uma referência compartilhada. Um aplicativo de controle de qualidade poderia olhar para uma imagem mestre de um produto perfeito e avaliar instantaneamente centenas de fotos da linha de montagem para detectar defeitos.
A Decisions API transforma a inteligência artificial de um parceiro de conversação em uma peça de infraestrutura silenciosa. Ao remover a geração de texto, a OpenAI forneceu uma maneira mais rápida e barata de direcionar dados. As empresas que adotarem essa abordagem processarão seus fluxos de trabalho diários com muito mais eficiência.