PGR21.com
- 경험기, 프리뷰, 리뷰, 기록 분석, 패치 노트 등을 올리실 수 있습니다.
Date 2009/01/07 18:34:31
Name 낭만토스
Subject 벨런스 논쟁과 통계의 허점에 대한 잡담



요즘들어...아니 뭐 요즘들어라고 할 것도 없지요. 벨런스논쟁은 이 바닥의 만년주제니까요.
하여간 최근 '저그'에 대한 벨런스때문에 토론과 논쟁이 많아지고 있는데요.

글과 댓글들을 보면서 많은 생각을 하지만 답답한 느낌이 많이 드는 것이 사실입니다.
A와 B가 논쟁을 합니다. 대립되는 주제는 같습니다. 두명다 근거로 통계를 들고옵니다.
분명 통계의 출처는 같지만 두명이 들고오는 부분이 다릅니다.
결국 똑같은 통계로 자신의 주장을 뒷받침 하지만 통계의 허점이라는 부분 때문에 서로 합의를 보지 못하고 평행선을 그어버립니다.


통계는 분명 정확하고 신빙성 있는 근거입니다. 하지만 역설적으로 불완전합니다.
분명 정확한 근거이긴 하지만 그것만으로는 상대가 납득할 만한 설득력을 전해주지 못한다는 겁니다.
통계에 대한 몇가지 말이 있습니다.

세상에는 세가지 거짓말이 있다. 평범한 거짓말, 새빨간 거짓말, 그리고 통계학 - 마크 트웨인(There are three kinds of lies: lies, damned lies, and statistics)

그가 통계를 사용하는 것은 마치 술주정뱅이가 가로등 기둥을 사용하는 것과 마찬가지였으니, 불을 밝히는 데 쓰는 것이 아니라 그저 지지대의 용도로 쓰는 것이었다. - 앤드류 랭, 영국 작가/문학평론가 (He uses statistics as a drunken man uses lampposts - for support rather than for illumination.)

통계에는 두 가지 종류가 있다. 하나는 있는 사실을 알아보는 것이고 다른 하나는 없는 사실을 만들어 내는 것이다. - 렉스 스타우트, 미국 작가 (There are two kinds of statistics, the kind you look up and the kind you make up)




테플전 토스맵에서 케스파랭킹 10위 안에 드는 육룡급 토스와 이제 프로리그 첫 출전한 신예 테란이붙었다고 하죠.
육룡 선수가 무참하게 안드로메다로 보내버렸다고 합시다. 어짜피 맵 밸런스 통계에 들어가는 숫자는 1입니다.
하지만 반대로 프로리그 첫 출전인 신예테란이 육룡급토스를 잡았다고 해볼까요? 어짜피 통계에는 숫자 1로 기록될 뿐입니다.

스타는 도박이 아닙니다. 단순하게 승패가 기록되는 게임이 아니라는 거죠.
또 예를 들어볼까요? 이제동선수가 어제 신희승선수에게 패한것처럼 뭘 해볼 것이 없어서 올인이나 하다가 막혀서 gg치는 경기로
테란 대 저그의 A 맵 전적이 0:10 이 되었다고 해보죠. 그렇다면 난리 날것입니다. 맵 퇴출시키자고 말이 많을 겁니다.
그런데 저그가 정말 엄청난 혈투끝에 지긴 했지만 이길 순간도 여러번 있었고 충분히 다음 경기를 기대하게 하는 경기력으로 졌다고 해보죠.
똑같이 B맵의 전적이 0:10으로 벌어졌다고 해봅시다. 그렇다면 커뮤니티의 반응은 다를겁니다.
분명 맵벨런스상 문제가 심각하지만 좀더 지켜보자는 의견이 중론일겁니다.

하지만 저 두맵이 그 상황에서 퇴출되었고 5년후에 피지알에서 글을 쓰는데 그때의 맵 벨런스를 검색해보니
A맵과 B맵의 테저전이 0:10입니다. 당시의 경기는 기억하지 못하고 통계상으로 0:10이니 가루가 되도록 욕했을겁니다.
저딴 맵이나 만든다고요.


물론 저런 일이야 전적이 적을 때야 일이고 현재 08년 저플전은 몇백경기가 쌓여서 저런 의심은 그다지 할 여지가 없다고 보여집니다
(저또한 08년 테저전은 테란쪽으로 추가 많이 기울었다고 생각합니다)
단지 이 글이 저징징에 대한 글이 아니라 벨런스논쟁을 보아오면서 통계자료를 전가의 보도로 활용하시는 분들이 계시고
그럴때마다 뭔가 찝찝한 생각이 속으로 들었기 때문입니다.


제 생각에 통계자료를 근거로 드실때 딸랑
저그 VS 플토 100:50
플토 암울 우왕굳

이 아니라 전적별 출전선수를 분석한다든가 해서 더욱 완전성이 높은 통계자료를 제시해주셨으면 합니다.
(또 이부분에서 "통계자료 써서 저그 암울했다고 한다고 나 까는거?" 라고 생각하시면 곤란합니다. 그런글 아닙니다 -_-;)
토스맵에서 송병구가 듣보잡 테란을 잡는 것은 지극히 당연한 것이겠죠. 아마 그 맵이 아니라도 잡았을 확률이 높지 않을까요?
반대로 테란맵에서 듣보잡 토스가 이영호를 잡는 것은 대 이변이자 엄청난 사건이니까요.

케스파 랭킹도 단순히 우승횟수에 주목하지 않고 우승한 시간에 따라 차등을 두고
예전 엠겜인가 온겜에서 나왔던 -4부터 +4까지 나오던 데이터도 상대 선수에 따라 차등을 두어서 체감에 맞는 포스를 보여주는 자료였으니까요.
가장 대표적으로는 WP랭킹등이 있겠죠.

제가 능력이 된다면 예를 들어 토스맵 테플전 전적 30:50이라도 각 게임을 분석해서 듣보잡 테란이 본좌급 토스를 잡은 것은 가산점을 주는등 해서 맵벨런스에 대한 정확한 자료를 만들어보고도 싶지만 그런 능력이 미천해 패스하고 그저
뻘글이나 하나 쎄워봅니다.


원래 피지알에 유게를 제외하고 글을 올릴때는 메모장에 써서 심혈을 기울여 올리는 편인데 또 그냥 즉흥적으로 쓰게 되네요.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
마술사
09/01/07 18:43
수정 아이콘
80전이 쌓였는데 30:50이다. 이정도면 충분히 유의한 통계자료라고 생각합니다.
물론 정확하게 통계적으로 계산하려면, (정규분포를 가정하고 유의수준 95%에서) 테프전에서 일반적인 테란의 승률이 XX%보다 낮다. 를 가설로 두고 검증하는 방법을 써야겠죠. (맞나요? 통계 배운지가 오래되서 가물가물하네요;;)

오히려 상대 선수에 따라 데이터에 차등을 주는 것은 랭킹이나 분석자료라곤 할수 있겠지만, 통계자료라고는 할수 없겠죠.
Ms. Anscombe
09/01/07 18:43
수정 아이콘
자료가 완전히 편향되게 수집된 것이 아니라면, 다수의 표본을 대상으로 한 통계 자료라면 꽤나 신빙성있는 결론을 낼 수 있습니다. 몇몇 경기 뿐이라면 특정 선수의 영향에 의해 통계가 왜곡될 수 있지만, 다수의 표본이 존재한다면 개개의 영향은 약화되고 특정한 수준으로 수렴되게 마련입니다. 보통 사람들은 자신이 본 것을 더 과하게 평가하기 때문에 표본들이 동등하게 고려되지 않습니다. 그것이 통계를 대할 때, '어? 이 정도였나?'라는 생각을 들게 하는 원인이 됩니다.

통계가 조작 가능하기 때문에 문제가 많다는 것은 맞지만, 그것이 '늘 왜곡된다'는 것은 아닙니다. 한 가지 필수적인 전제는 표본이 충분히 많아야 한다는 것이겠죠.
낭만토스
09/01/07 18:45
수정 아이콘
마술사님// 쩝 그래서 제가 케스파 랭킹, WP랭킹같은 예를 든거죠;; 그럼 그런 것들은 다 쓸때 없는 자료겠군요 -_-;;

80전이 쌓였는데 30:50이다. 네 그정도 쌓였으면 유익한 통계자료 맞죠. 그러나 더 완전한 주제 도출을 위해 차등을 줘보자는거죠.

WP랭킹도 상대 선수에 따라 얻는 점수가 다릅니다. 게이머 랭킹도 우승한 시기에 따라 점수가 다르죠. 그런 의미를 말하는겁니다.

통계자료는 무조건 허구이다 가 아니고요. -_-;; 이런 댓글 나올까봐 설명을 많이 했는데요.....
09/01/07 18:46
수정 아이콘
어느 정도는 수긍이 가는데요..
예선전 전적을 포함한 메두사 z:p는 저그가 많이 이겼는데 프로리그 경기를 보면 토스가 많이 이기는것 같아요..
낭만토스
09/01/07 18:48
수정 아이콘
테플전 토스맵에서 전적이 꽤나 쌓였는데 50:30으로 토스가 유리합니다.
그런데 30승중 절반 이상이 이영호선수가 쌓은 것이라고 해보죠. 토스의 50승은 골고루고요.
그런 결과를 봤다면 이건 더욱더 토스맵이 되는거죠. '전적도 벌어졌는데 더군다나 승을 쌓은건 이영호가 대부분' 이라면요.

그래서 그 부분에서 차등을 준다면 더욱더 체감에 와닿는 자료가 만들어지지 않을까요?
09/01/07 18:48
수정 아이콘
낭만토스님// 마술사님이 의미하신 건 '유익한'이 아니고 '유의하다'입니다
'통계적으로 유의하다'고 하는 그 유의요.
그리고 80전정도라면 그 누가 보더라도, 통계적으로 유의하다고 할 수 있는 정도의 데이터라 봅니다.
낭만토스
09/01/07 18:50
수정 아이콘
courts님// 네 유의하다의 뜻은 압니다. 익하고 의하고 비슷하게 보여서 잘못읽었네요. 수정은 하지 않겠습니다.

네 또 쓰게 되네요. '통계자료는 무조건 허구이다' 의 주제가 아닙니다 -_-;;
마술사
09/01/07 18:52
수정 아이콘
낭만토스님// 제가 케스파 랭킹이나 WP랭킹이 쓸데없는 자료라고 한적 없는데요. 무슨말씀이신지..

그것들은 "분석자료"나 "객관적인 랭킹"으로써 가치가 있는 것이지만, "통계자료"는 아니라고 한 것이죠.
다수의 표본을 대상으로 한 통계자료를 처리하는 방법론이 "통계학"라는 학문으로 자리잡혀 있는데, 통계학과는 관계없이 나름대로 룰을 정해서 랭킹으로 계산한 것이 어떻게 "통계자료" 라고 할수 있나요?
王非好信主
09/01/07 18:53
수정 아이콘
어떤 방식으로 짚어내느냐, 어떤것이 신빙성있느냐의 차이라고 생각합니다.

프로리그는 선수들과 프론트가 느끼는 체감밸런스가 어떤지 알아 볼 수 있는 지표라고 생각합니다. 바로 출전비중으로 파악하는 것이죠. 개인리그는 전통의 방식대로 이긴횟수를 몇대몇으로 보는 것이 좋다고 봅니다. 물론, 현재처럼 테란이 절반인것이 아무렇지도 않은 경우가 있을 수 있기 때문에, 몇대몇과 함께 라운드별로 누가 진출했는가를 파악하는 것도 중요하겠죠. 개인리그 예선은 실력격차라는 것이 존재하기에 의미가 없다고 보구요. 3전2선승으로 진행되는 만큼 2:1로 승부가 났을 경우 '비슷한 실력'으로 감안하고, 진선수가 이긴 그 맵이 무엇인지를 파악함으로서 맵밸런스를 유추할 수 있다고 봅니다.

경기수가 많다면, 그리고 상위라운드에 비교적 골고루 진출한다면 굳이 잘하는 사람에 따른 차등을 둘 필요는 없다고 생각합니다만, 현재는 그러지 못하기 때문에 지표라는 것들이 신빙성을 잃었을 뿐이라 생각합니다.

개인적으론 '랭킹'이 한줄세우기(랭킹인데 당연한거지만...)가 되다보니 나오는 문제라고 생각합니다. 맵에 따른 종족유불리가 분명히 존재하는 만큼 랭킹은 각 종족별로 9가지가 있어서 따로 랭킹이 체크되야합니다. 한주에 4경기하던 당시에도 랭킹이 있었다는 것을 생각해보면, 한주에 60경기 쯤 하는 현재에는 종족별로 나누더라도 충분히 가치있는 랭킹이 나올거라 생각합니다.
09/01/07 18:53
수정 아이콘
courts님// 낭만토스님이 말하시는건 통계자료는 허구라는게 아니라 선수의 실력에 따라서 가중치를 따로 주자는 것 아닌가요? 예전에 마재윤 선수가 저그 암울맵에서 승리를 휩쓸무렵 z:t 전적에서 제 4의 종족 마재윤 선수의 전적을 제외하자는 말도 많이 나왔었죠..비슷한 선상의 논의라고 생각되네요
밑힌자
09/01/07 19:03
수정 아이콘
이래서 표준편차 같은 게 필요하다는 생각을 합니다. 보통 수준의 플레이어들의 기대승률과 톱 에이스들의 기대승률 사이에서 그 수치를 조율할 수 있어야 하니까요. 하지만 사회방법론 수업을 개차반처럼 들은 터라 더 이상의 이야기를 못 하겠습...

사실 표본수 이야기를 하기에도 좀 모자란 면이 있습니다. 생각해 보면 맵 밸런스의 스탯으로 쓰이고 있는 것은 겨우 '승패 기록' 정도입니다. 미네랄 수, 배치, 안마당, 뒷길 여부, 그 외 아주 잡다한 모든 요소들을 고려한 자료가 아니죠. 야구를 예로 들면, 파크팩터 정도의 신빙성이랄까요. 하지만 야구에는 한 선수의 수십가지 스탯이 있고 그것을 다시 가공한 수십가지의 스탯이 있다는 것이 다르겠죠. 다시 말해 통계자료로 쓸 수는 있지만, 독립적으로 쓰이기는 다소 모자란 면도 많이 보인다는 생각이 듭니다. 곰TV 스탯이 웃음거리가 되고 있지만, 이것을 어림짐작으로 결정한다는 것 자체가 이 판의 한계를 보여주고 있습니다. 다른 것도 아니고, 멘탈적인 면이 엄청나게 작용하는 극미의 세계에서 이 차이는 상당합니다. 소위 '패러다임' 이 바뀌면서 완전히 무너지는 기존의 밸런스들을 우리는 계속해서 보아 왔습니다. 하지만 이것들에 대한 적확한 분석은 늘 결과론적일 수 밖에 없습니다. 기존의 틀이 수치로 전제된 것이 아닌 만큼, 항상 현상을 새롭게 분석해야만 하니까요. 오직 '승패 여부'만이 스탯의 전부이기 때문에 나머지 요소는 모두 어림짐작으로, 결과론적으로 풀어나갈 수 있을 따름이죠. 이 때문에 복합적인 통계를 하나로 묶어서 이야기할 수 있는 분석이 필요한데... 기껏해야 10년 정도 된 스포츠이니 나올 수 있는 게 한정되어 있는게 아닌가 합니다. 판에 대한 이해력은 이제 어느 정도 형성되었지만, '선수'에 대한 분석은 여전히 미진하다고 생각됩니다.
애국보수
09/01/07 19:11
수정 아이콘
밑힌자님// 그도 그렇지만 각종 전략의 발전에 따라 급변하는 맵 해석의 방식이나 선수들의 기량이 급변하는 스타판도 이런 분석을 어렵게 하는 요소입니다.

이 통계의 장난이 제일 심했던게 바로 팔진도가 아닌가 합니다. 팔진도에서 프로토스는 나왔다 하면 졌습니다. 그런데도 시간이 흐를수록 이 맵은 플플전으로 도배가 되었지요.
마술사
09/01/07 19:13
수정 아이콘
밑힌자님//
지금 얘기하고 있는 것은 맵에 대한 밸런스와 종족에 대한 밸런스 이야기인데, '특정 플레이어'에 대한 것은 고려요소가 아니라고 생각합니다.
즉, "XX맵에서 일반적인 테란 플레이어가 일반적인 토스 플레이어와 붙었을때, 몇%의 승률을 기대할 수 있겠는가?"에 대한 문제에 답을 하는 것이고,
유의한 자료를 가지고 통계적으로 분석했을때 예를들면, 결론은 이런식으로 나오겠죠.
"XX맵에서 일반적인 테란 플레이어가 일반적인 토스 플레이어와 붙었을때 기대승률은 40%이하다. 그러므로 이 맵의 밸런스는 붕괴되었다."

말씀하신 플레이어에 대한 고려요소는, 맵 밸런스가 아니고, 승패예측을 위해 필요한 분석일 것입니다.
XX맵은 토스 플레이어에 유리하다 (factor 1:맵). XX테란선수는 토스전 승률이 XX%이다 (factor 2:종족). 특히 XX플레이어는 미네랄9덩이 맵에서 경기력이 좋다 (factor 3:플레이어). 뭐 이런것들을 분석해서 회귀분석 비슷하게 분석해 볼수도 있겠죠. 하지만 맵 밸런스와는 관련이 없고, 또 이러한 분석이 되려면 먼저 XX맵의 맵 밸런스에 대한 분석이 선행되어야 하겠지요.
09/01/07 19:16
수정 아이콘
체조 경기에서 최고점과 최저점은 제외하듯이.......

캐스파랭킹 상위 5~10명, 하위 몇명 정도를 제외하고, 전적을 매기는 건 어떨가요?
낭만토스
09/01/07 19:17
수정 아이콘
엄재경해설의 5:5 발언도 그렇기 때문이었고
최고의 벨런스 맵으로 불렸던 노스텔지아도 통계의 허구에서 나온 것이죠.

노스텔지아는 계속된 불균형을 패치해가면서 따라잡은 케이스죠.
(그래도 박성준선수가 저럴로 많이 이겼던 걸로 기억하는데 정확한 통계는 모르겠지만요....)
가장 막판에는 저플전이 완전 붕괴되었던 기억이 나네요.
공방업한 저글링만으로 토스를 잡았죠. 그러나 통계상으로는 5:5입니다

어쨋든 뭔가 더 완전 무결한 통계자료가 제시되면 좋겠습니다. 굉장히 힘들다는 것은 알지만요.
낭만토스
09/01/07 19:23
수정 아이콘
飛上님// 글쎄요 그런 것 보다는 캐스파 랭킹이나 WP랭킹같은 게이머 랭킹으로 선수별로 차등을 주고
그걸로 가산점을 주는 것이 좋은 방법이 아닐까요.

예를 들어 랭킹 톱10인 토스선수와 랭킹 100위권인 테란선수가 토스맵에서붙었는데 테란선수가 이겼다면 15점
반대로 랭킹 톱10인 토스선수와 랭킹 100위권인 테란선수가 토스맵에서 붙었는데 토스선수가 이겼다면 5점
비슷한 랭킹의 선수가 붙었는데 한쪽이 이겼다면 그대로 10점 뭐 이런식으로요. 뒤의 점수는 그냥 예입니다.
물론 맵에 대한 분석도 선행되어야 하니 굉장히 복잡한 작업임에는 틀림없지요.

뭐 결국 이런게 된다고 하면 토스맵이라 전적상은 50:30인데
소위 말하는 6룡급 토스가 하위테란을 상대로 절반이상의 승을 챙겨줘서 실제 체감점수로는 430점 대 330점 이다 뭐 뭐 이런.......
밑힌자
09/01/07 19:25
수정 아이콘
애국보수님// 그렇죠. 저희는 세부 요소들에 대해 어떤 결과가 즉시적으로 나올 수 있는지에 대한 결과물을 얻을 수 없습니다. 사실, 이건 맵이라는 것 자체가 일종의 카오스이기 때문이 아닐까 하는 생각도 듭니다만... 수학을 하시는 분들은 다르게 생각하실 수도 있겠다는 생각도 드네요. 일단 경기 승패를 기록할 때 그 경기의 세부 양상(저글링 올인으로 끝난 경기 2회, 장기전 1회, 배틀 3회 이런 식으로 말이죠)을 기록하는 것이 이런 것들에 도움이 되지 않을까 합니다. 각 지형 요소의 활용률도 반드시 기록해야만 하겠죠.

마술사님// 아, 그 얘기는 맵 밸런스에 대한 이야기는 아니었습니다. 다만 저희들이 '통계에 의거한 분석'을 하려면 '맵 밸런스'만으로만, 승패 여부로만 이야기해야 하니 그 한계가 있다는 이야기를 하려고 했죠. 하지만 앞에서 표준편차가 필요하다는 이야기를 했듯이, '특정 플레이어'의 '특수한 사례'는 승패로 계산된 맵 밸런스라는 스탯의 신빙성을 떨어뜨리게 되는 것은 확실합니다. 그리고 우리는 아직까지 '일반적인 플레이어'가 어떤 것인지도 잘 모릅니다. 승률이 중간 정도면 일반적인 플레이어일까요? 아니오, 저는 그렇지 않다고 생각합니다. 모든 플레이어들이 특정 상황에 대해 상이한 반응을 보여주는데, 저희는 말씀드린 것처럼 '선수'가 어떤 것인지 잘 모릅니다. 물론 뮤짤을 잘한다, 드론을 잘 뽑는다 등의 총체적인 분석이야 부분적으로 존재합니다. 하지만 야구와 같은 극미 영역에 축구 정도의 애매한 분석틀을 갖다쓰기는 무리가 있다고 생각합니다. 사실 이런 극미 스포츠에서는 승패에 대한 분석이 바로 바로 나와야 정상이지만, 저희는 아직까지 도재욱 선수의 비밀도 제대로 풀어내지 못하고 있으니까요.
마술사
09/01/07 19:27
수정 아이콘
문제를 정확히 정의하면, 답은 90%는 나온 것이라고 생각합니다.
예를들면, "XX맵에서 일반적인 테란 선수가 일반적인 토스 선수와 붙었을때 기대승률은?" 이란 문제를 받았을때
"일반적인" 선수가 도대체 어디까지냐? 라는 의문이 들 수 있겠죠.
원하는 것이 프로리그에서 기대승률이라면, 프로리그의 전적으로 분석을 하면 될테고, 하부리그에서 기대승률이라면, 하부리그의 전적으로 분석을 하면 될테고, 개인리그16강이상급에서 기대승률이라면 개인리그16강이상급 선수의 전적으로 분석을 하면 되겠죠. 원하는 것이 '프로리그의 기대승률'인데 6룡은 사기니까 빼야한다는둥, 이영호는 너무 잘하니까 빼야한다는둥, 그런건 말이 안되죠. 6룡이나 이영호선수도 프로리그에 나오는데요 (누구보다 많이 나오죠).
6룡과 이영호가 아닌 다른 사람의 기대승률을 알고 싶었다면 아예 처음부터 문제를 명확히 정의하던가요. "프로리그에서 이영호를 제외한 테란이 6룡을 제외한 토스 플레이어와 붙었을때 기대승률은?" 이라고 문제를 재정의 해야하겠죠.

결국 맵 밸런스논쟁에서 결국 그렇다면 질문은 무엇인가? 가 문제가 되겠는데요
"(개인리그.프로리그 통틀어서) XX맵에서 일반적인 테란이 일반적인 프로토스를 이길 확률은?"에 대한 답을 하고
이 확률이 너무 낮다. 따라서 XX맵의 테프전 밸런스는 붕괴되었다. 라고 결론지을수도 있고,
"(개인리그 4강이상급 경기에서) XX맵에서 일반적인 테란이 일반적인 프로토스를 이길 확률은?"에 대한 답을 하고
이 확률은 꽤 높다. XX맵의 테프전 밸런스는 붕괴되지 않았다. 라고 결론지을수도 있게 되겠죠..

이런 점이 낭만토스님이 얘기하신 통계에 대한 맹점이라고 할 수 있겠죠.

하지만 무조건 "XX선수는 테프전을 너무 잘하니까 그선수 전적은 제외하고" 이런건 말이 안된다고 봅니다. 맵에 대한 밸런스를 논하는데 선수에 대한 요인은 고려대상이 아니죠
09/01/07 19:27
수정 아이콘
낭만토스님// 가중치의 점수가 '얼마나 객관성을 가질것'인가, '얼마나 타당한 결론을 가져와 줄 것'인가가 문제가 되겠군요...아이디어는 좋지만 실효성을 거두기는 힘들것 같아요
낭만토스
09/01/07 19:28
수정 아이콘
밑힌자님// 네 그런 문제 때문에 어떤 분은 '육룡 전적은 빼고 논하자'
'롱기 리템을 봐라. 마재윤은 빼고 말해야 한다' 이런 말이 나오는 것이겠죠.
거기서도 토론하다가 싸움이 되는 부분이고요. 그런...서로 납득하지 못하는 경우가 많기에 더 완결성이 있는 자료제시를 위해
단순 통계보다는 그것을 분석해서 신빙성있는 자료를 제시하는게 어떨까? 라는 정도가 요지였습니다.
제 글에 제가 너무 리플을 많이 쓰는 것 같네요. 글을 잘쓰면 이럴 필요도 없을텐데 필력이 딸리니....계속 댓글을 달아야 하네요. -_-;;
밑힌자
09/01/07 19:39
수정 아이콘
낭만토스님// 개인적으로 마재윤을 제외하자는 것과 비교해서 육룡을 이야기하는 건 좀 그렇더라구요. 마재윤은 한명이니 충분히 제외할 정도로 별난 사례이지만, 육룡 정도면...;;;

마술사님// 마지막 말씀에 반쯤 동의합니다. 하지만 그런 게 바로 파크팩터가 공격받는 원인이기도 합니다. 파크팩터에서도 플루크 플레이어나 해당 구장에 특화된 괴물 플레이어의 성적을 배제하지 않기 때문에... 그건 그 스탯 나름의 신빙성이라고 할 수도 있지만, 반대로 맹점으로도 구별될 수 있는 요소니까요.
애국보수
09/01/07 20:06
수정 아이콘
6룡과 마재윤은 다르지요.
"6룡을 빼면 5:5와" "마재윤을 빼면 7:3에서 6:4로"의 차이는 큽니다.
7:3에서 6:4로 변했다고 밸런스가 좋은건 아니지요.

6룡 데이터를 빼면 토스맵에서 밸런스맵으로 변하지만
마재윤을 빼면 저그압살맵에서 저그압살맵으로 변합니다.
진리탐구자
09/01/07 20:24
수정 아이콘
1. 롱기 리템에서 마재윤 선수의 전적을 빼자는 이유는 간단합니다.
전체 데이터에서 마재윤이 차지하는 비중이 너무 높거든요.

마재윤 선수가 롱기 리템에서 5~10전 정도의 경기만 했다면 딱히 밸런스가 왜곡될 게 없죠. 문제는 마재윤 선수 혼자 15~20전을 쌓아올렸다는 데에 있습니다.

하지만 이런 사례는 지극히 예외적이기에 '밸런스 전적 통계가 무의미하다'라고 말하기는 어렵죠.


2. 육룡 빼자는 것은 좀 어불성설인 것 같습니다. 마재윤 선수의 케이스야 단 한 명이니 '쟤는 예외'라고 말할 수 있어도, 육룡은 여섯 명이나 됩니다. 한 종족에서 여섯 명의 고렙 선수를 제외하고 밸런스를 매겨보자는 것이야말로 통계 조작에 가깝다고 봅니다.
09/01/07 20:29
수정 아이콘
택뱅을 빼는 것까지는 상위 2명만 빼는 거지만 어느 종족이던지 탑클래스에 있는 6명을 다 빼버리면 최약의 종족이 되버리죠.
지금 문제점은 저그쪽에서 뺄 상위 6명을 뽑기가 너무 힘들다는 것이 문제라고 생각합니다.
이제동 선수가 확실하게 들어가고 박명수 선수,박성준 성수,김정우 선수정도? 마재윤 선수 정도의 성적을 내면 어찌어찌 저그 탑 10에 들어갈 수 있다는 것에 마재윤 선수 팬으로서 기뻐해야 될지 저그빠로서 슬퍼해야 될 지 모르겠습니다.
nicewing
09/01/07 20:40
수정 아이콘
스타계에도 통계 전공한 수학자가 등장해서 상대전적이나 맵밸런스를 명쾌하게 수학적으로 설명해 주는 사람이 등장했으면 좋겠군요. -_-)a

스타계가 존재한 지 10년이 넘어가는지라, 그런 식의 정교한 데이터 분석도 슬슬 나올 때가 되지 않았나 합니다.
낭만토스
09/01/07 20:44
수정 아이콘
흠 이 글의 논지는 육룡을 빼자는게 아닙니다 ;; 그냥 예로 들어본 것 뿐이고,
단순 통계자료 제시에서 그치지 말고 완결성 있는 분석자료가 필요한 시점이라는 거죠.
통계가 허구라는게 아니라
'잘 봐 xx vs oo 통계가 말해준다. 반론 그만 우왕굳' 이런 논리가 약점이 있다는 겁니다.

만약 맵 패치가 안되었는데 현재 대 저그전 메카닉의 해법이 나와서 메카닉의 승률이 굉장히 저조해졌다고 해보죠.
그래서 6:4인 지금의 벨런스에서 5:5에 가깝게 맞아졌다고 합시다. 그러면 1년후에 지금을 회상할때
'당시 벨런스 죽여줬지. 몇년간 저그가 테저전에서 약세를 거둬왔는데 전적 봐봐 거의 5:5야.'
라고 할 수 있는거죠. 실제로는 이제동 혼자 고군분투하고 저그들이 테란에 힘들어 하는 시절 아닙니까?
결국 그런 통계의 맹점을 벗어나기 위해서는
단순히 승,패만 기록하는 통계만을 의존할 것이 아니라 한차원 더 나아간 분석자료가 필요하다는 겁니다.
물론 굉장히 어려운 작업임에는 분명합니다. 저는 감도 안잡히네요.
진리탐구자
09/01/07 20:47
수정 아이콘
낭만토스님// 예전에 펠릭스~님이 만든 자료가 괜찮던데요. 전적 데이터에 종족 출전 빈도를 감안해서 매긴 밸런스 툴이었습니다. 출전빈도가 많은 종족일수록 소위 '양민'이 출전했을 가능성이 높고, 실제 밸런스보다 전적이 나쁘게 나왔을 수 있다는 것을 감안해서 만들었던 것으로 압니다. 가령 A라는 맵에서 테저전이 61 : 39인데, 테란은 1000번 출전했고 저그는 500명이 출전했다고 한다면, 평균적으로 저그들이 테란들에 비해 '네임드'가 출전했을 확률이 크다고 말할 수 있을 것입니다. 이걸 감안하고 계산하면 실제 밸런스는 67:33 정도가 되더군요.
최강프로!
09/01/07 21:17
수정 아이콘
누굴빼고 말고 하는것보다 비슷한급선수들끼리 경기한것들만 따로모아서 통계를 내보는것도 좋을듯 하군요.
A급끼리 붙은것 그외의 선수들끼리 붙은것 A급과 그외의선수들끼리 붙은것 이렇게 세가지를 비교해보면 좋을듯 한대요
비슷한급끼리는 뭐 말할필요도 없고 A급과 그외의 선수들끼리 붙은것을 따로빼는 의도는 맵이 특정족족에게 불리하다라고
하더라도 실력차이가 있으면 크게 작용안한다와 이맵에선 신예들도 A급선수들 잡을확률이 높다라는등의 결론이 나올수도 있으니깐요
리켈메
09/01/07 21:26
수정 아이콘
좀 산으로 가는 댓글이지만 요샌 pp랭킹이 잘 안올라오는게 아쉽네요. 택용스칸님이 자주 올리셧던걸로 아는데 한해동안 포스있는 선수를
알기에 좋은자료 였는데 말이죠.
09/01/07 23:45
수정 아이콘
낭만토스님의 주장도 일리가 있는 주장입니다.
다만 테저전의 경우에는 현재 메카닉이라는 변수를 제외하고서라도
'잘 봐 xx vs oo 통계가 말해준다. 반론 우왕굳"이라고 단정지어버리기에도
충분할만한 데이터가 쌓였다고 생각합니다.
메카닉에 약점이 보이면 그냥 바이오닉 가면 될 일이고요.
그동안 안 보이던 바이오닉의 약점이 갑자기 나타나기라도 하면 모를까요.
09/01/08 00:09
수정 아이콘
통계학에서 어떠한 모델이 맞는지에 대한 답은 없습니다. 낭만토스님의 의견은 지금처럼 단순 합산데이터로는 알 수 없다 라는 주장을 하시는거고, 다른 모델이 있을수 있겠죠..
맵과 종족만을 독립변수로 두고, 독립변수를 승부로 두는 model은 매우 robust 하지 않습니다. 아마 어떠한 좋은 모델이 나오더라도 저 맵, 종족만으로 설명가능한 부분(R^2)는 제 생각엔 30%를 넘지 않을거라고 생각합니다.

하지만 그렇다고 의미가 없는건 아닙니다. 특히 맵별이 아닌 전체 통계의 경우에는 신빙성이 높다고 생각합니다. 주장하시는데로, '그러니까 밸런스는 알 수 없다' 라고 한다면 요컨데 이명박 지지율이 30%더라도 지지자들은 대답을 안했을 확률이 높으니 지지율은 옳지 않다 라고 하는것과 같습니다. 이건 예측의 측면이 아니라 단순히 '현재를 분석하는 차원의 이야기' 이기 때문입니다.

듣보잡 테란 vs 6룡 플토 가 자주 만난다 하더라도, 반대로 이영호급 테란 vs 초보 플토 가 만날 확률, 혹은, 테란이 적게 출전하는 이유에 대한 분석(테란이 암울하다거나 등등) 이 포함되므로 무의미한 자료가 아닙니다.(지지율로 설명하자면, 대통령 지지율 분석이 한나라당 반대파가 주로 대답한다고 하더라도, 반대로 광 한나라당빠가 대답할 수도 있는것이고, 대통령을 지지한다고 공개적으로 말못하는 이유까지 포함되므로 지지율은 무의미한 자료가 아니라는 말입니다.) 그것으로 현재 밸런스는 어떻다 라고 말할 수 분명히 있습니다.

결국 TZ밸런스는 무너졌다고 봅니다..
연휘군
09/01/08 10:19
수정 아이콘
글쎄요

낭만토스님의 의견에 일리는 있고, 이해도 되지만
누군가는 '그 경기가 치열했건 혹은 원사이드했건 결국 승자와 패자는 나뉘는거고, 밸런스는 그 승패만을 기준으로 삼아야 한다.'
라고 생각할지도 모릅니다.

아무리 치열하다 하더라도 결과적으로 승패에 엄청난 차이가 보인다면, 그건 어떤 결정적인 문제가 있는거겠죠.
치열한 명경기 끝에 10:0의 스코어가 나왔다 하면, 그 10경기를 '우연히 테란이' 이긴 것이 아니라 '테란이 이기게 만든'
무엇이 있다고 생각하는게 맞지 않을까요?
플러스
09/01/08 10:58
수정 아이콘
딸랑 저그 VS 플토 10:5 의 통계를 근거로
플토 암울 우왕굳 이라고 하면, 글쓴분 말씀대로 통계의 오류가 될 가능성이 많습니다

그러나 10:5가 아닌 100:50 이라면 다르겠지요?
표본수가 충분하면 지적하신 문제점이 거의 없어진다고 볼 수 있을듯 합니다
열씨미
09/01/08 11:59
수정 아이콘
글쓴분 의견에 수긍이 많이 갑니다.
올인이나 날빌에 의한 승부, 아무리 프로게이머 사이의 실력차는 종이한장이라지만 객관적으로 상당히 경험이나 그동안 보여준 기량면에서 차이가 나는 선수끼리의 승부 등등이 모두 1승, 1패의 동일한 비중을 갖는다는점에서 단순히 '이 맵에서 저그대 테란이 몇대 몇이다' 라는 통계가 불러올 수 있는 오류의 가능성..

이러한 오류가 생기지 않으려면 자료의 양이 많으면되겠죠? 수백게임의 자료가 모이고나면 이러한 오류는 해결될 듯 하지만 대신에 또다른 문제가 발생하죠. 야구나 축구같은 스포츠와는 달리 스타판은 전략이라는 면에 있어서 흐름이 무지 빠르다는겁니다. 수백경기의 자료가 모여서 몇백승 몇십패..정도의 데이터가 쌓였다고 했을때 사실 이 데이터의 초반 부분과 후반 부분의 성격은 매우 다를 수가 있다는거죠. 당시에 유행했던 빌드, 전략, 각 종족별 상위 선수들의 분포 등등 말이죠.

결국 현재의 통계자료라는건 어디까지나 '참고'로 해둘만한 사항이지, 통계를 바탕으로 상당히 근거있어보이는? 추론내지 어떤 결론을 내기에는 무슨 주장을 하건 반론의 여지가 참 많은것 같아요.
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
36568 로스트 사가 MSL 조지명식 (4)~~ [545] SKY928353 09/01/08 8353 0
36567 로스트 사가 MSL 조지명식~ (3) [421] SKY926493 09/01/08 6493 0
36566 로스트 사가 MSL 조지명식 (2) [346] SKY925762 09/01/08 5762 0
36565 로스트 사가 MSL 조지명식~~ [394] SKY926489 09/01/08 6489 0
36564 외국에서 스타 보기 v1.0 [24] 임요환의 DVD6930 09/01/08 6930 6
36562 프로리그 2라운드 7주차 엔트리입니다! 빅뉴스! [40] 선미남편6678 09/01/08 6678 0
36560 WP랭킹 가중치를 통해 실험해 본 메두사1.1의 맵 밸런스 [7] Dementia-4537 09/01/08 4537 0
36559 요즘 테저전 밸런스에 대한 생각.. [13] 가츠794133 09/01/08 4133 0
36558 저그전 메카닉에 대한 단상 [6] 3843 09/01/08 3843 0
36557 스타크래프트 2에서의 각종족의 전략 변화 예상. -1- 테란 대 저그 [10] 새들이(Saedli)4602 09/01/08 4602 0
36556 바투스타리그 , 로스트사가 MSL , 올킬이 가능한 프로리그 3라운드. 그앞에 놓여진 김택용. [13] Special one.4828 09/01/08 4828 0
36554 최근 저그들의 충분한 롤모델, STX Soul의 저그 [21] 라울리스타6133 09/01/08 6133 2
36553 내머리속의 상상. 6룡 테란3강,그리고 이제동 [52] 스웨트8799 09/01/07 8799 10
36552 벨런스 논쟁과 통계의 허점에 대한 잡담 [34] 낭만토스6775 09/01/07 6775 0
36551 바투 스타리그 36강 G조 [170] SKY925473 09/01/07 5473 0
36550 090107 프로리그 HERO-T1 // CJ-Sparkyz (2) [274] Carpe Diem5092 09/01/07 5092 0
36548 090107 프로리그 HERO-T1 // CJ-Sparkyz [388] Carpe Diem4918 09/01/07 4918 0
36547 최근 3달동안 저그전메카닉 전적 총정리 [54] VerseMan8313 09/01/07 8313 0
36546 빌드의틀에서 벗어나라 [33] Sunday진보라4843 09/01/07 4843 1
36545 수험생활 하느라 못봤던 리그 몰아보고 있습니다 ^ ^ [7] 캐럿.3744 09/01/07 3744 0
36544 프로리그의 필승카드 !! [12] WizarD_SlayeR5183 09/01/07 5183 0
36543 메카닉 테란에 대한 저그의 해법 -4인용맵- [32] The_CyberSrar5742 09/01/06 5742 0
36541 신희승vs이제동, 어떻게 보셨습니까? [61] courts8522 09/01/06 8522 2
목록 이전 다음
댓글

+ : 최근 6시간내에 달린 댓글
+ : 최근 12시간내에 달린 댓글
맨 위로