CloudWatch에서 Bedrock 로그와 매트릭 살펴보기

Amazon Bedrock 런타임 지표(매트릭)

매트릭 이름	단위	설명
Invocations	SampleCount	Converse , ConverseStream , InvokeModel 과 InvokeModelWithResponseStream API 작업에 대한 요청 수.
InvocationLatency	Milliseconds	호출 지연 시간.
InvocationClientErrors	SampleCount	클라이언트 측 오류가 발생한 호출 수.
InvocationServerErrors	SampleCount	AWS 서버 측에서 오류가 발생한 호출 수.
InvocationThrottles	SampleCount	시스템이 제한한 호출 수.
InputTokenCount	SampleCount	입력값의 토큰 수.
LegacyModelInvocations	SampleCount	레거시 모델 을 사용한 간접 호출 수.
OutputTokenCount	SampleCount	출력 토큰 수.
OutputImageCount	SampleCount	출력 이미지 수(이미지 생성 모델에만 해당).

CloudWatch Metrics 에서 Bedrock 런타임 지표 확인하기

대시보드를 통해 확인하기

Bedrock 아래에 자동 대시보드 보기 를 선택합니다.
CloudWatch Logs 로그 그룹 에서 Bedrock 실행 로그 확인하기

100kb보다 크거나 바이너리 형식인 모델 입력 또는 출력 데이터는 CloudWatch Logs에 게시되지 않습니다. 대용량 데이터 전송을 위한 S3 구성이 제공되지 않을 경우 해당 모델 데이터는 게시되지 않습니다.

기존에 생성한 로그 그룹 (/aws/bedrock)을 선택합니다.

로그 스트림 (aws/bedrock/modelinvocations)을 선택합니다.

각 로그 이벤트를 선택하여, Invoke API 를 수행한 IAM 주체와 modelId, input, output 을 확인할 수 있습니다.

CloudWatch Logs Insights 로 Bedrock 실행 로그 분석하기

예시 쿼리 1/ 임베딩 로그를 검색하기 위한 쿼리


fields @timestamp, input.inputBodyJson.inputText as @inputText, input.inputBodyJson.embeddingTypes.0 as @embeddingTypes
| filter input.inputBodyJson.embeddingTypes.0 = "float"

예시 쿼리 2/ 입력 텍스트(inputText), 출력 내용(output content), 입력 토큰 수(input Token count), 출력 토큰 수(output Token count)를 확인하는 쿼리


fields @timestamp,
    input.inputBodyJson.inputText as InputText,
    output.outputBodyJson.content.0.text as OutputContent,
    input.inputTokenCount as InputTokens,
    output.outputTokenCount as OutputTokens
| sort @timestamp desc

예시 쿼리 3/ 높은 토큰 사용량 로그 확인하는 쿼리


fields @timestamp,
    input.inputTokenCount as inputTokens,
    output.outputTokenCount as outputTokens,
    (input.inputTokenCount + output.outputTokenCount) as totalTokens
| filter totalTokens > 1000
| sort totalTokens desc

예시 쿼리 4/ 분 단위로 API 호출 빈도를 확인하는 쿼리


fields @timestamp
| stats count(*) as callCount by bin(1m)
| sort @timestamp desc