두번째 앱은 재무관리였습니다.
사실 재무관리라는 거창함 보다는 비용 및 입금 관리가 맞겠네요 ^^
출금에서 영수증 증빙을 올리면 매번 영수증 사진도 올리고, 금액과 내역도 직접 써야됩니다.
한건쯤은 가능한데..이게 많아지면 이것도 항목과 금액쓰는 것도 일이네요.
그래서 영수증 이미지를 올리면 알아서 항목과 총금액을 추출하여 자동으로 기입해 주는 기능을 넣었습니다.
물론 AI의 도움이 있어야죠 ^^
이젠 AI한테 시키고,
남은 시간 놀아요 ㅋ
앱 개발
앱은 지출, 이번달 지출, 입금, 차트 (입금, 출금 항목별 차트)로 구성이 되었습니다.
전형적으로 데이터를 입금, 출금하고, 해당 달의 총액과 차트로 항목별 비교할 수 있는 메뉴이죠.
스마트폰에서 증빙을 올릴 수 있다는것도 가능하지만, 결재 프로세스를 붙여서 상신 기능도 구현하여 넣을 수 있습니다.
그런데, 사실 이 영수증이 문제입니다.
영수증은 매장마다 형식이 조금씩 다른데요, 사람은 이 항목들을 이해할 수 있지만, 기본적인 OCR기능으로는 항목을 구분하여 가져오기가 힘듭니다
앱시트에는 OCR기능이 머신러닝기능으로 학습하여 인식가능한 기능이 있는데, 이게 위치가 조금 달라지면 인식을 못합니다.
그래서 이번엔 AI를 도입하기로 했습니다.
AI에게 일 시키기
제미나이에게 이미지를 넘기고 우리가 원하는 형식으로 데이터 추출을 요구합니다.
예를들면, "항목을 뽑아주고, 전체 금액을 함께 뽑아줘"
또는, "항목이 여러개면 XXX외 4개 이런형식으로 뽑아주고, 전체 금액을 뽑아줘"
이런식으로 요청하면 정말 잘 뽑아줍니다.
제미나이에서 열심히 연습을 해보고 마스터 프롬프트를 만들어내야됩니다.
일단 아래처럼 테스트를 해보았습니다.
그리고, 우리가 원하는 JSON형태로 데이터를 받아보았죠.
너무 잘 받아옵니다.
위에 다이소에서 산 물건은 총 4가지인데, 항목을 한개로 정리하여 뽑아주는 영리함도 보입니다.
알아서 영수증 이미지를 올리면 앱에서 항목을 뽑아 바로 해당 입력란을 채워주네요.
팀원들끼리 증빙 올리기에는 딱 ! 입니다.
모두들 도전해보세요 ~~~