확률·확신도·적중률을 구분하는 숫자 연습
이 글의 숫자는 모두 설명을 위해 만든 가상 예시입니다. 실제 경기, 실시간 데이터, HYEOKS 성적이나 구매 추천이 아닙니다. 확률 숫자를 볼 때는 먼저 자료 시점과 basis가 model·market·national·none 중 무엇인지 확인하세요. none은 근거 있는 예측으로 읽지 않습니다.
1. 가장 높은 확률도 절반보다 작을 수 있습니다
홈승 42%, 무승부 31%, 원정승 27%라면 세 값의 합은 100%이고 1순위는 홈승입니다. 하지만 홈승이 아닌 결과의 합은 31+27=58%입니다. ‘가장 가능성이 높다’와 ‘거의 확실하다’는 다릅니다.
2. confidenceGap은 확률이 아니라 격차입니다
위 예시의 confidenceGap은 1·2순위 차이인 42−31=11%p(0.11)입니다. 적중률 11%라는 뜻도, 89% 확신한다는 뜻도 아닙니다.
| 가상 사례 | 홈/무/원정 | 1·2위 차이 |
|---|---|---|
| A | 50/30/20% | 20%p |
| B | 60/40/0% | 20%p |
B의 0%는 차이를 보여주기 위한 경계값일 뿐, 현실에서 불가능하다는 선언을 권하는 예시가 아닙니다. 같은 격차라도 최고 확률과 나머지 분포는 다릅니다. 과거 동일 구간의 관측 적중률은 별도 표본에서 측정해야 합니다.
3. 정확도와 확률 품질은 별개입니다
가상 10경기 중 1순위가 6번 맞으면 정확도는 6/10=60%입니다. 60% 예측을 내든 95% 예측을 내든 같은 6개를 맞히면 정확도는 같습니다. 그러나 틀린 결과에 얼마나 낮은 확률을 줬는지는 다릅니다.
실제 결과에 준 확률이 0.60이면 로그손실은 −ln(0.60)≈0.511, 0.05이면 −ln(0.05)≈2.996입니다. 낮을수록 좋고, 매우 확신하다 틀린 예측에 더 큰 손실을 줍니다. 평균 로그손실은 같은 경기 집합에서 비교해야 합니다.
4. 60%라는 숫자가 잘 맞는지 보려면
60% 안팎으로 예측했던 가상 100경기에서 해당 결과가 58번 나오면 관측 비율은 58%입니다. 이것은 보정(calibration)을 살펴보는 출발점이지 검증 완료 선언이 아닙니다. 기간·표본·선정 기준·경기 간 의존성에 따라 해석이 달라집니다. 소수 경기만 골라 확률이 맞거나 틀렸다고 결론 내리지 않습니다.
5. 높은 적중률이 이익을 뜻하지 않는 이유
오직 산수 설명으로, 매번 1단위를 쓰고 적중 시 원금을 포함해 1.5단위를 받는 가상 고정배당 거래 10건을 생각해 봅시다. 6건 적중이면 지출 10, 총 반환 6×1.5=9, 순손익은 −1입니다. 적중률은 60%여도 손실입니다. 이는 구매 전략이 아니며 세금·비용도 생략한 예시입니다.
승무패처럼 여러 경기 조합과 적중자 배분이 있는 상품에는 이 단순 거래 모형을 그대로 적용할 수 없습니다. 실제 구매액·반환액을 수집하지 않았다면 예측 정확도만으로 수익률을 만들어낼 수 없습니다.
읽는 순서
- 수집·계산·저장 시각과 확률 출처를 확인합니다.
- 세 결과 전체와 격차를 함께 봅니다.
- 같은 모집단·기간의 경기 수, 정확도, 로그손실을 비교합니다.
- 사후 재계산과 킥오프 전 저장 기록을 섞지 않습니다.
공식 구현과 평가 범위: 방법론 · 사전 저장 기록 · 예측 코드. 기대 점수의 별도 의미는 Elo 가이드에서 다룹니다.