AI로 PostHog를 쿼리하고 결과를 확인하는 방법
채팅에서 Leina를 통해 PostHog 이벤트 데이터를 쿼리하고, 흔한 지표 함정을 피하며, 일별 값, 시간 경계, 기간 합계를 소스 데이터와 대조해 확인하세요.
팀 채팅에서 AI 에이전트에게 “이번 주 신규 기능 사용량을 차트로 보여줘”라고 요청하는 것은 간단해 보입니다. 하지만 분석 쿼리는 미묘한 오류가 발생하기 쉽습니다. 총 이벤트 클릭 수와 고유 활성 사용자를 혼동하거나, 팀의 현지 시간대 대신 UTC로 일자를 버킷팅하거나, 오늘의 불완전한 데이터 절반을 갑작스러운 “사용량 감소”로 취급하는 경우가 그렇습니다.
Leina를 사용하면 Slack이나 팀 채팅에서 직접 PostHog 분석을 쿼리할 수 있습니다. 결과를 신뢰할 수 있게 만들려면 시각적 차트와 함께 기반이 되는 일별 데이터를 요청하고, 결과를 프레젠테이션이나 주간 리뷰에 넣기 전에 PostHog 대시보드와 비교하세요.
팀이 이미 보고서에서 사용하는 이벤트로 시작하면 소스 비교가 준비됩니다.
쿼리 전에 지표 매개변수 정의하기
“이 기능이 얼마나 사용되었나요?”와 같은 모호한 요청은 불분명한 차트로 이어집니다. 프롬프트를 작성하기 전에 다음과 같은 필수 쿼리 매개변수를 정의하세요:
| 매개변수 | 지정할 내용 | 중요한 이유 |
|---|---|---|
| 프로젝트 | 연결된 PostHog 프로젝트 이름 | 데이터 소스를 식별합니다. 프로덕션과 스테이징에는 별도 필터가 필요할 수도 있습니다. |
| 이벤트 이름 | 정확한 이벤트 식별자 (예: billing_upgrade_clicked) | 더 이상 사용되지 않거나 철자가 틀린 사용자 정의 이벤트를 쿼리하는 것을 방지합니다. |
| 측정값 | 총 발생 횟수 vs. 고유 사용자 | 발생 횟수는 이벤트 볼륨을 측정하고, 고유 사용자는 이벤트를 트리거한 사람 수를 셉니다. 이것이 채택을 나타내는지는 이벤트에 따라 다릅니다. |
| 날짜 범위 및 시간대 | 명시적 시작/종료 타임스탬프와 보고 시간대 (예: America/Los_Angeles) | 자정 근처의 이벤트가 인접한 날짜로 이동하는 것을 방지합니다. |
| 필터 | 환경, 테스트 계정 또는 특정 사용자 속성 | 포함할 레코드를 정의합니다. 실제 이벤트 속성과 일치하는 필터를 사용하세요. |
| 부분 일자 | 오늘을 제외하거나 불완전으로 표시 | 불완전한 하루가 놀라운 감소처럼 보이는 것을 방지합니다. |
시각적 차트와 함께 표 형식 값 요청하기
채팅에서 쿼리할 때는 항상 일별 요약 표와 차트를 모두 요청하세요. 시각적 차트는 공유하기 쉽지만, 데이터 표가 있어야 계산을 검증할 수 있습니다.
연결된 채팅에서 이 프롬프트를 복사하여 조정하세요:
연결된 PostHog 프로젝트
[project]에서[start timestamp]부터[end timestamp]까지[event_name]의 **[총 발생 횟수 / 고유 사용자]**를 계산해 주세요.
- 시간대: 일별 경계에
[timezone]을 사용하세요.- 필터:
[예: environment = production, 내부 직원 제외]를 적용하세요.- 형식: 일별 데이터 표와 시각적 막대 차트를 모두 반환하세요.
- 메타데이터: 프로젝트, 측정값, 보고 기간, 정확한 필터, 검색 타임스탬프를 명시하세요. 가능하면 쿼리 또는 소스 링크를 포함하고, 그렇지 않으면 재현할 수 있는 조건을 제공하세요.
- 부분 날짜: 보고 시간대에서 아직 완료되지 않은 날짜를 표시하세요.
- 검색 누락: 누락되거나 불완전한 데이터를 확인된 0건과 별도로 보고하세요.
읽기 작업만 수행하세요.
Connections를 통해 대상 PostHog 프로젝트를 읽을 수 있는 계정을 연결하세요. Slack을 사용하는 경우 Slack 가이드 (English)에서 채팅 설정을 다룹니다. PostHog의 인사이트 가이드는 다양한 질문에 적합한 분석 유형을 설명합니다.
한 날짜를 확인한 다음 전체 기간 확인하기
차트를 임원 업데이트에 붙여넣기 전에 다음 두 가지 확인으로 PostHog와 숫자를 대조하세요:
1. PostHog에서 완료된 날짜 하나를 표본 확인하기
브라우저에서 PostHog Insights를 열고, 완료된 하루(예: 지난 수요일)에 대해 동일한 이벤트와 필터를 구성한 뒤 에이전트의 표와 개수를 비교하세요. 일치하면 유용한 첫 확인입니다. 하지만 전체 쿼리를 검증하지는 않습니다. 서로 다른 필터가 하루에 같은 개수를 생성할 수 있습니다. 다음으로 시작과 끝 경계 근처의 레코드를 포함하여 전체 보고 기간을 비교하고, 두 쿼리가 동일한 프로젝트, 측정값, 시간대, 필터를 사용하는지 확인하세요.
2. 총계 vs. 고유 사용자 계산 검증하기
- 총 발생 횟수는 가산적입니다: 총 이벤트 볼륨을 쿼리한 경우, 두 쿼리가 동일한 범위와 기반 데이터를 사용할 때 중복 없이 전체 기간을 포괄하는 일별 행의 합이 기간 총계와 일치해야 합니다.
- 고유 사용자는 가산적이지 않습니다: 월요일과 화요일 모두 활동한 사용자는 월요일 일별 버킷에 한 번, 화요일 일별 버킷에 한 번 집계되지만, 여러 날 총계에서는 한 번만 집계됩니다.
다음 값은 예시입니다:
| 일자 | 이벤트 발생 횟수 (가산적) | 고유 사용자 (비가산적) |
|---|---|---|
| 월요일 | 4건 | 2명 (Alice, Bob) |
| 화요일 | 3건 | 2명 (Alice, Charlie) |
| 이틀 총계 | 7건 (4 + 3) | 3명 (Alice, Bob, Charlie) |
에이전트가 일별 고유 사용자 수를 단순히 더해 여러 날 고유 사용자 총계를 보고하면 계산이 잘못된 것입니다.
숫자가 맞지 않을 때 빠른 문제 해결
채팅의 숫자가 PostHog UI에서 보이는 것과 일치하지 않을 때 다음 확인으로 차이를 좁히세요:
| 증상 | 확인할 근본 원인 |
|---|---|
| 모든 일별 개수가 일관되게 낮음 | PostHog에서는 내부 팀 필터링이나 봇 제외가 활성화되어 있지만 쿼리에서는 누락되었는지(또는 그 반대인지) 확인하세요. |
| 스파이크와 골이 하루씩 이동함 | 각 쿼리에서 사용하는 시간대와 일자 경계를 비교하세요. |
| 마지막 날 급격한 감소 | 쿼리 실행 시 해당 날짜가 완료되었는지 확인하세요. 완료되었다면 부분 데이터로 가정하지 말고 변화를 조사하세요. |
| 범위 중간에 날짜 누락 | 소스가 0건을 확인하는지, 쿼리가 불완전한 데이터를 반환했는지 확인하세요. |
| 지난주 대비 과거 숫자 이동 | 지연 도착 이벤트, 백필, 필터 및 소스 레코드 변경을 확인하세요. |
PostHog 차트 검토 워크시트를 사용하여 쿼리 매개변수와 해결 메모를 기록할 수 있습니다.
관찰된 지표와 가설을 분리하기
예를 들어 가상의 숫자를 사용하여 보고서에서 다음과 같은 진술을 분리할 수 있습니다:
- 관찰된 변화: “월요일부터 목요일까지 결제 버튼 클릭이 34% 증가했습니다.”
- 가설: “화요일의 v2.4 모바일 앱 릴리스가 관련이 있을 수 있습니다. 영향을 받은 사용자를 다른 세그먼트와 비교하고 추적 변경이 있는지 확인하세요. 그 비교만으로는 인과관계를 확립할 수 없습니다.”
쿼리를 확인한 후에는 Leina에게 일정에 따라 실행하도록 요청할 수 있습니다. 시간대와 전달 위치를 지정한 다음 첫 번째 예약 결과를 검토하세요. 계측이나 필터가 변경되면 쿼리를 다시 확인하세요. 반복 실행이 검증을 대체하지는 않습니다.
PostHog는 자체 AI 분석 기능도 제공합니다. 팀이 일하는 위치에 맞는 워크플로를 선택하고, 공유하는 모든 차트에 소스 조건을 함께 유지하세요.