커스텀 에이전트를 생성하고 최적화하기 위한 모범 사례

잘 설계된 커스텀 에이전트는 크레딧을 적게 사용하고 더 나은 결과를 제공합니다. 모든 실행에서 최대한의 효과를 얻는 방법은 다음과 같습니다.

• 반복적인 작업에는 커스텀 에이전트를 사용하세요. 일회성 요청에는 Notion 에이전트를 대신 사용하세요. 요금제에 포함되어 있습니다. 커스텀 에이전트는 온라인 상태 여부와 관계없이 백그라운드에서 자율적으로 작동하므로 Notion 크레딧을 사용하여 실행됩니다.

• 구체적인 트리거를 선택하세요. 모든 메시지나 데이터베이스 업데이트가 아닌, 특정 @멘션이나 속성 변경 시 트리거되도록 하세요. 잘못된 실행이 줄어들고 낭비되는 실행이 줄어듭니다.

• 맥락을 좁게 유지하세요. 에이전트가 필요한 특정 페이지나 데이터베이스를 지정하세요. 그렇게 하면 에이전트는 필요한 내용만 읽게 되며 각 실행이 집중된 상태를 유지합니다.

• ‘완료’를 미리 정의하세요.에이전트에게 완료된 실행이 어떤 모습인지 정확히 알려주세요. 에이전트 지침이 명확할수록 결과에 더 빨리 도달합니다.

• 독립적인 작업을 일괄 처리하세요. 예를 들어 에이전트에게 출처를 한 번에 하나씩 읽는 대신 여러 출처를 한 번에 읽도록 요청하세요.

  • ✅ "프로젝트 데이터베이스와 #support Slack 채널을 읽은 다음 주간 업데이트를 작성해 줘."

  • 🚫 "프로젝트 데이터베이스를 읽은 다음 주간 업데이트를 작성하세요. 그런 다음 #지원 Slack 채널을 읽고 주간 업데이트에 추가하세요."

• 워크플로가 비슷할 때는 기존 에이전트에서 시작하세요. 필요한 워크플로가 이미 커스텀 에이전트로 존재한다면 처음부터 만드는 대신 복제하세요. 에이전트를 열고 •••을 선택한 다음 복제를 선택하세요.

  • 복제본은 기본적으로 비공개로 설정되어 있습니다.

  • 복제 후에는 Slack과 같은 도구를 다시 인증하고, 트리거가 예상대로 이전되었는지 확인한 다음, Workers를 다시 배포하세요. Workers는 복제본에 포함되지 않습니다. 이는 작동 중인 에이전트의 팀 변형을 빠르게 만드는 데 특히 유용합니다. 이 문서에서 커스텀 에이전트 복제에 대해 자세히 알아보기.

커스텀 에이전트는 명확한 작업, 올바른 출처, '완료'에 대한 엄격한 정의가 있을 때 가장 안정적입니다. 이 모범 사례 문서에서는 더 나은 에이전트 지침을 작성하고, 올바른 트리거를 선택하며, 시간이 지남에 따라 결과를 개선하는 방법을 다룹니다.

어디서부터 시작해야 할지 확실하지 않다면 팀이 자주 반복하는 워크플로부터 시작하세요. 커스텀 에이전트는 워크플로가 예측 가능하고 검토하기 쉬울 때 가장 효과적입니다.

다음과 같은 워크플로를 찾으세요.

• 보고서 작성, 유입되는 요청 분류, 일반적인 Slack 질문에 대한 답변 등 반복되는 작업

• 매일 또는 매주 발생하는 빈번한 업무

• 결과값이 올바른지 빠르게 판단할 수 있는, 평가하기 쉬운 업무

워크플로를 선택했으면 에이전트의 가장 단순한 버전부터 만드세요. 복잡성을 추가하기 전에 안정적으로 실행하세요.

프로세스가 안정적이고 예측 가능하다고 느껴지면 트리거 또는 일정을 추가하여 완전히 자동화할 수 있습니다.

커스텀 에이전트에 명확한 에이전트 지침을 제공하면 더 일관되고 안정적인 결과가 생성됩니다. 성공의 모습에 집중하고 이를 달성하는 데 필요한 맥락을 제공하세요.

원하는 결과로 시작하세요.

• 모든 단계를 나열하는 것이 아니라 최종 결과값이 어떻게 보여야 하는지 설명하세요

• 적절한 결과를 달성하는 방법을 에이전트가 결정하도록 하세요.

• 예: "완료된 작업, 방해 요소, 다음 단계를 요약한 주간 프로젝트 보고를 작성하세요."

실제 사례를 공유하세요.

• 이전 프로젝트 보고, 서식이 지정된 리포트 또는 분류된 요청을 붙여넣으세요.

• 추상적인 설명 대신 구체적인 예를 사용하세요.

형식과 최종 목적을 명확히 하세요.

• 결과값이 어디로 전달되어야 하는지 명확히 지정하세요(예: Slack, 데이터베이스 또는 기존 페이지).

• 어떤 속성이나 섹션을 작성해야 하는지 명확히 알려주세요.

• 예: "요약 내용을 #team-updates 채널에 게시하고 주간 리포트 데이터베이스에 추가하세요."

간단한 경계를 설정하세요.

• 에이전트가 해야 할 일과 피해야 할 일을 명확히 하세요.

• 예: "새로운 주간 리포트 페이지가 아닌 기존 주간 리포트 페이지를 업데이트하세요" 또는 "#support에서만 응답하세요."

예외적인 경우를 설명하세요.

• 데이터가 없거나 보고할 새로운 사항이 없는 경우 어떻게 해야 하는지 설명하세요.

• 예: "이번 주에 업데이트가 없으면 건너뛰지 말고 '업데이트 없음'이라고 게시하세요."

지침은 짧고 명확하게 작성하세요.

• 짧은 지침이 더 일관된 결과를 만들어냅니다.

• 설정이 길어지면 워크플로를 여러 에이전트로 분할하세요.

커스텀 에이전트를 설정할 때, 작업을 일정에 따라 실행할지, 특정 작업에 대한 반응으로 실행할지, 또는 두 가지 모두로 실행할지 결정하세요.

예측 가능한 작업은 일정 기반으로 실행하세요.

• 활동 여부와 관계없이 작업을 정해진 주기로 실행해야 하는 경우에는 일정 기반 실행을 선택하세요.

• 주간 리포트, 일일 브리핑 또는 월간 요약과 같은 반복적인 작업에 이상적입니다.

반응형 작업은 트리거 기반으로 실행하세요.

• 특정 상황이 발생했을 때 작업이 실행되어야 하는 경우에는 트리거 기반 실행을 선택하세요.

• 예: Slack에 버그가 제출되었을 때, 데이터베이스에 새 페이지가 추가되었을 때, 또는 특정 발신자로부터 이메일이 도착했을 때

필요한 경우 일정 기반과 트리거 기반 실행을 결합해 사용하세요.

• 일부 워크플로에는 두 가지 패턴이 있습니다.

• 예를 들어, 하나의 트리거 기반 에이전트는 버그가 접수될 때마다 이를 분류하고, 별도의 일정 기반 에이전트는 이렇게 분류된 버그를 주간 요약으로 정리할 수 있습니다.

낮은 빈도와 제한된 범위로 시작하세요.

• 일일 일정 대신 주간 일정으로 시작하세요.

• 5개가 아닌 하나의 채널로 시작하세요.

• 결과값이 일관되고 신뢰할 수 있는 것으로 확인되면 확장하세요.

워크플로를 완전히 활성화하기 전에 시간을 들여 설정을 테스트하고 조정하세요.

트리거 또는 일정을 활성화하기 전에 테스트하세요.

• 실행을 클릭하여 에이전트를 수동으로 실행하세요.

• 결과값을 검토하여 예상대로 작동하는지 확인하세요.

• 결과가 올바르게 표시되면 트리거 또는 일정을 켜세요.

소규모 그룹으로 테스트하세요.

• 팀원 몇 명과 에이전트를 공유하여 피드백을 수집하세요.

• 더 광범위하게 배포하기 전에 초기 피드백을 활용해 문제를 발견하고 해결하세요.

반복적인 개선이 필요하다는 점을 염두에 두세요.

• 대부분의 에이전트는 제대로 작동하도록 하려면 여러 번의 테스트 실행이 필요합니다.

• 원래 의도했던 바가 아니라 실제로 표시되는 결과값을 바탕으로 지침을 개선하세요.

먼저 활동 로그를 확인하세요.

• 실행을 트리거한 항목을 확인하려면 시계 아이콘을 클릭하세요.

• 에이전트가 수행한 작업과 실패했을 수 있는 부분을 검토하세요.

• 사용 권한을 확장하기 전에 로그를 사용하여 문제를 진단하고 에이전트가 예상대로 작동하는지 확인하세요.

일반적인 해결 방법을 파악하세요.

• '잘못된 결과값'은 일반적으로 더 구체적인 지침이 필요하다는 것을 의미합니다.

• '누락된 데이터'는 종종 에이전트가

  도구와 사용 권한 아래에서 추가 페이지 또는 데이터베이스에 접근해야 함을 의미합니다.

• '실패한 실행'은 일반적으로 권한 격차가 있거나 에이전트 지침이 불분명함을 나타냅니다.

잘 설계된 에이전트는 더 빠르게 실행되고 불필요한 작업을 방지합니다. 효율성에 영향을 미치는 세 가지 요소는 다음과 같습니다.

• 에이전트가 실행되는 빈도

• 에이전트가 읽는 콘텐츠의 양

• 작업을 완료하는 데 필요한 단계 수

성능을 향상하는 가장 쉬운 방법은 불필요한 실행을 제한하는 것입니다. 에이전트가 작업을 수행할 가능성이 높을 때만 실행되도록 트리거를 설계하세요.

작게 시작하여 점진적으로 확장하세요.

• 매일 실행하는 대신 매주 실행하는 것으로 시작하세요.

• 더 많은 채널이나 워크플로로 확장하기 전에 먼저 하나의 채널 또는 워크플로에서 사용해 보세요.

• 결과를 신뢰할 수 있게 되면 실행 빈도를 늘리세요.

에이전트가 필요할 때만 실행되도록, 신호가 명확한 트리거를 사용하세요.

• Slack의 경우: 모든 메시지를 대상으로 하기보다는 @멘션이나 특정 이모지 반응을 기준으로 트리거를 설정하세요.

• Notion의 경우: 모든 데이터베이스 업데이트가 아니라, 특정 속성 변경을 기준으로 트리거를 설정하세요.

• Notion 메일의 경우: 모든 이메일이 아니라, 필터링된 이메일을 기준으로 트리거를 설정하세요.

'조치 필요 없음'으로 표시되는 실행이 일부 발생할 수 있다는 점을 예상하세요.

• 이는 에이전트가 수행할 작업이 없다고 판단할 때 발생합니다.

• 이는 정상적이고 효율적인 반응으로, 에이전트는 종료하기 전에 트리거와 지침만 확인합니다.

에이전트가 읽는 콘텐츠가 많을수록 각 실행에 더 많은 작업이 필요합니다. 범위를 좁게 유지하세요.

• 가능한 한 가장 작은 범위로 에이전트를 지정하세요. 이상적으로는 단일 페이지 또는 에이전트가 필요한 경우에만 불러올 수 있는 하위 페이지에 링크된 몇 개의 페이지로 설정하는 것이 적합합니다.

• 어떤 데이터베이스나 페이지를 정보 출처로 사용해야 하는지 이미 알고 있다면, 광범위하게 검색하도록 에이전트에 요청하지 마세요.

각 실행에 단계가 하나씩 추가될 때마다 작업량이 늘어나며, 특히 커스텀 에이전트가 여러 번 검색을 수행하는 경우 더욱 늘어납니다.

• 에이전트가 더 적은 단계로 작업을 완료할 수 있도록 완료 기준을 명확하게 정의하세요.

• 에이전트가 여러 도구를 동시에 실행하면 더 효율적입니다. 가능하면 에이전트 지침에서 병렬 도구 사용을 권장하세요.

  • 동시 실행 가능: "프로젝트 데이터베이스, 엔지니어링 Slack 채널, 최신 스프린트 노트 페이지를 동시에 읽으세요." 이 세 가지 소스는 독립적이므로 에이전트가 하나씩 읽는 대신 모두 동시에 읽습니다.

  • 순차적 실행 필요: "리포트 데이터베이스에 요약 페이지를 만든 다음, Slack의 #팀-업데이트에 링크를 게시하세요." 에이전트가 링크를 게시하려면 먼저 페이지 URL이 필요하므로 이러한 단계는 순차적으로 진행됩니다.

에이전트가 여러 후속 질문을 자주 하거나, 동일한 작업을 재시도하거나, 같은 페이지를 반복해서 확인하거나, 예측 가능한 방식으로 오류가 발생하는 경우에는 지침이나 설정을 개선해야 합니다.

• 권한 문제로 인해 오류가 빈번하게 발생하는 경우(예: Slack에서 응답하는 데 필요한 사용 권한이 없거나, 신뢰할 수 없는 URL에 접근하려는 경우), 도구 및 사용 권한에서 에이전트의 사용 권한을 조정하거나, 해당 작업을 수행하지 않도록 에이전트 지침에 명시합니다.