Skip to content

AI.Feature44

Choose a tag to compare

View all tags
@eduardohyodozup eduardohyodozup released this 05 Dec 14:49
AI.Feature44
0ec0218
This commit was created on GitHub.com and signed with GitHub’s verified signature.
GPG key ID: B5690EEEBB952194
Verified
Learn about vigilant mode.

This release note is written in English and Portuguese, scroll to the end to access both languages.
Esta release note está escrita em Inglês e Português, role a página até o final para ter acesso às duas linguagens.

What is Enhanced Chat Memory Management with Buffer Memory and its benefits?

Enhanced Chat Memory Management introduces the ability for StackSpot AI Agent creators to configure how chat memory is managed during user interactions. Now, you can select between different memory management mechanisms—Buffer Memory and Vectorized Memory (the current model)—to optimize chat performance and contextual relevance according to your specific needs.

Benefits:

  • Greater flexibility and control over chat context and performance.
  • Ability to choose the most suitable memory model for each use case.
  • Improved relevance and efficiency of AI responses.

How It Works

  • Memory Management Options: When creating or editing an Agent in StackSpot AI, you will find a new option to select the memory management type:
    • Buffer Memory: Stores the entire conversation history (using a sliding window/context window concept) and includes it in each new prompt for maximum context retention.
    • Vectorized Memory: Uses external databases to store and retrieve domain- or conversation-specific information, as in the current model.
  • Default Setting: Vectorized Memory is set as the default for new Agents, ensuring strong context awareness out-of-the-box.
  • Switching Memory Types: Users can switch between Buffer and Vectorized Memory at any time from the Agent configuration panel.
  • Visual Guidance: The Agent creation interface has been updated with a clear section for memory management selection, including tooltips explaining each option.
  • Documentation Update: Comprehensive documentation has been updated to clarify the differences, use cases, and benefits of each memory management method.

Implementation

  1. Access Agent Settings: Go to the StackSpot AI Portal and create or edit an Agent.
  2. In the advance Settings: In the Agent configuration panel, choose between Buffer Memory and Vectorized Memory.
  3. Configure as Needed: Adjust the memory window size (for Buffer Memory) or set up your external vector database (for Vectorized Memory).
  4. Save Changes: Changes are applied instantly, and conversation history is retained across memory model switches.
  5. Refer to Documentation: Check the updated documentation for detailed instructions, best practices, and example scenarios.

User Journeys

  • Via StackSpot AI Portal: Agent creators can visually select and configure the memory management model directly in the Agent settings interface.
  • Via IDE Extension : The chosen memory management model is respected during all chat interactions, ensuring consistent context and performance across channels.

Gerenciamento Aprimorado de Memória de Chat com Buffer Memory e seus benefícios

O Gerenciamento Aprimorado de Memória de Chat permite que criadores de agentes na StackSpot AI configurem como a memória do chat é gerenciada durante as interações. Agora, é possível escolher entre diferentes mecanismos de gerenciamento de memória—Buffer Memory e Vectorized Memory (modelo atual)—para otimizar o desempenho e a relevância do chat de acordo com as necessidades específicas.

Benefícios:

  • Mais flexibilidade e controle sobre o contexto e desempenho do chat.
  • Possibilidade de escolher o modelo de memória mais adequado para cada caso de uso.
  • Melhoria na relevância e eficiência das respostas da IA.

Como Funciona

  • Opções de Gerenciamento de Memória: Ao criar ou editar um Agente na StackSpot AI, há uma nova opção para selecionar o tipo de gerenciamento de memória:
    • Buffer Memory: Armazena todo o histórico da conversa (usando o conceito de janela de contexto/memória deslizante) e o adiciona a cada novo prompt, garantindo máximo contexto.
    • Vectorized Memory: Utiliza bancos de dados externos para armazenar e recuperar informações de domínio ou conversa, conforme o modelo já utilizado atualmente.
  • Configuração Padrão: Vectorized Memory será a opção padrão ao criar um novo agente, proporcionando maior consciência de contexto desde o início.
  • Interface Visual: A interface de criação de agentes foi atualizada com uma seção clara para seleção do tipo de memória, incluindo tooltips explicativos.
  • Documentação Atualizada: A documentação foi revisada para explicar as diferenças, casos de uso e benefícios de cada método de gerenciamento de memória.

Implementação

  1. Acesse as Configurações do Agente: Entre no Portal da StackSpot AI e crie ou edite um agente.
  2. Selecione o Tipo de Memória: No painel de configuração do agente, escolha entre Buffer Memory e Vectorized Memory.
  3. Configure conforme necessário: Ajuste o tamanho da janela de memória (Buffer Memory) ou configure seu banco de dados vetorizado externo (Vectorized Memory).
  4. Salve as Alterações: As mudanças são aplicadas instantaneamente, mantendo o histórico de conversas ao alternar entre modelos.
  5. Consulte a Documentação: Acesse a documentação atualizada para orientações detalhadas, melhores práticas e exemplos.

Jornada do Usuário

  • Pelo Portal StackSpot AI: Criadores de agentes podem selecionar e configurar visualmente o modelo de memória diretamente nas configurações do agente.
  • Via Extensão de IDE: O modelo de memória escolhido é respeitado durante todas as interações, garantindo contexto e desempenho consistentes em todos os canais.
Assets 2
Loading