PGR21.com
- 경험기, 프리뷰, 리뷰, 기록 분석, 패치 노트 등을 올리실 수 있습니다.
Date 2006/05/30 16:03:48
Name 4thrace
Subject PGR 평점제에서 소수의 편차큰 평가위원들의 C.O.P 영향성.
지금 당장은 시행하지 않더라도 평가위원 인원을 늘리는 건 전경기 평가제의 도입을 위한 포석인 것 같습니다.

일요일 경기같은 경우 평가위원들의 참여가 부진했는데..... 1/4수준의 참여를 가정할때 20명의 평가가 확보되니 평가의 객관성을 담보할 수 있습니다.

10여명내외의 소수의 평가위원들만 참여하는 평가에서는 저처럼 평가의 편차가 큰 평가위원이 내리는 점수격차가 바로 COP로 연결될 가능성이 커서 약간의 문제가 있었습니다.

10명중 9명의 평가위원이 A경기 7. 5  B경기 7. 5 로 평점을 매기는데 저같이 편차 큰 한 사람이 9. 6. 8. 5 이렇게 평점을 주면....... 저 한사람 때문에 C.O.P가 결정되고 맙니다.

이와같은 예는 과거의 리히터가 차이코프스키 콩쿨에서 25점 만점의 평가제에서 타 심사위원들은 모두 점수를 짜게 ..... 11점.. 9점..... 8점 이렇게 미세하게 차이가 나게 점수를 준 반면.. 리히터는 다른 심사자는 모두 0점을 주고 단 한사람에게만 25점을 줌으로써 그 한사람이 엄청난 점수차로 우승하게 된 예와 비슷합니다.

PGR의 C.O.P는 그 차이코크스키 콩쿨처럼 점수차가 0점에서 25점이나 크게 벌어지지 않는 점수차이니 그런 일이 발생할 가능성은 보다 적습니다.

그러나 모두 무난한 점수를 주는 가운데...... 편차가 큰 저같은 평가위원이 있어서 그 1명 1명의 선호에 의해 C.O.P의 결정이 크게 영향받는다면........ 과연 웬만한 경기는 모두 7.5..... 7.5를 주는 무난한 평가가 원인일까요? 아니면 경기의 질에 따라 편차를 두고자하는 평가위원의 평가가 원인일까요?

그런면에서 너무 무난한 평가...... 7.5 ...... 7.4의 남발은 ..... 만약 경기간에 확실히 구분이 가는 평가를 지향하는 평가위원들의 소신이 그대로 적용된다면..... 별 영향력 없는 평가가 될 수도 있습니다.

그렇다고..... 경기의 구분을 확실히 하여 점수의 편차를 내려고 하는 평가위원들에게...... 보다 무난한 평가를 하시오...... 웬만한 경기는 7점을 넘지 않았으면 하오..... 라고 말해서 10명 모두 A경기 7. 5 B경기 7.5의 평점을 내리면........ C.O.P는 가릴 수가 없습니다. 모두 동률이기 때문입니다. 우연히 그 경기를 아주 훌륭한 경기로 본 심사위원이 8점을 준다...... 그럼 그 한 심사위원의 주관대로 C.O.P는 선정됩니다.

따라서 문제의 원인은...... 주관이 확실한 평가를 내리는 편차가 큰 심사위원보다는........ 무난한 점수를 주는 평가위원에 있을 수 있다고 말할 수도 있습니다.

평가위원들은 이런 문제를 고민해 보았으면 합니다. 하루에 몇경기가 있었는데 똑같이 7점 5점 7점 5점을 준 두 경기가 있었다면 승리한 양선수의 경기력이 동일한 것이었고 패배한 양선수의 경기력 또한 동일한 수준이었는지...... 여부를 말입니다.

또한 이런 C.O.P선정의 편차를 두기 위해서 하루 두 경기가 있었을 경우 상대적으로 우위에 있는 한 경기에는 8.6의 점수를 주고 다른 한 경기에는 7.5를 주는 경우...... 역사적 대비에서 오류가 발생할 수 있습니다.

예를 들면 C.O.P게시판에 선정 C.O.P의 점수가 일련되게 나열되는데 그 날의 타 경기보다 더 우월했다고 해서 편차를 내기 위해 인위적으로 8점을 주면(그러나 실제 경기력은 7점 정도 수준......) 다른 날의 실제로 8점 경기력의 8점 경기와 점수간 차이가 벌어지지 않는 현상이 발생합니다.  

따라서 물론........ 재미로 하는 그냥 우리들의 놀이에 불과하지만...... 어느정도 경기수준에 확실히 준하는 평점을 주기 위해서는 심사위원들의 기준이 확실해야하고.... 가능한 평점을 고만고만하게 주는 것( 7.5 7.5 ... 이기면 7점 ..... 지면 5점....)은 격차가 있는 경기력을 똑같은 경기력으로 오인하게 하고, C.O.P 선정에서도 소수의견의 독재를 허용할 수 있다는 점에서 바람직하지 않을 수도 있다는 점 생각하시고 평점을 주셨으면 하는 바람이 있습니다.




p.s 추가로.... 승리하는 선수에겐 거의 7점 이하의 점수는 주지 않는 분위기 입니다. 10점을 궁극의 점수로 보류하면 승리한 선수에게는 7점, 8점 9점을 줄수 있고 무난한 평가를 하시는 심사위원들에게 있어선 대부분 7점과 8점의 점수에 수렴합니다.

결국 승리한 대부분의 경기력은 오직 두가지 평점 7점, 8점으로 구분이 명확지 않습니다. 축구의 평점의 경우 선수별 승리, 패배가 존재하지 않으므로 어느정도 자유로운 평점도 가능하지만 승리, 패배가 확실한 기준을 갖고 있는 평점에서 7점, 8점에만 수렴하는 평가는 구분이 불명확하다고 봅니다.

물론 평가위원들이 많아지면 7점이 몇명이냐?...... 8점이 몇명이냐?...... 로 평균을 내어 경기력의 격차를 구분할 수는 있습니다. 그러나 그렇더라도 대부분의 승리한 경기에 7점 8점을 주는 무난한 평가기준에서는 경기력의 확실한 평가나 구분이 어려운 문제가 있다고 봅니다.




P.S.2 또한 보시는 분들이 이의를 제기할 수 있는 문제가 저의 경우 8.5점에서 9.4점을 받는 점수대의 경기는 모두 9점을 줍니다. 즉 같은 9점이라도 8.5점인 경기도 있고 9.4점인 경기도 있습니다. 그래서 같은 9점이라도 수준차가 분명 날 수 있습니다.

그런데 과거의 어떤 경기와 비교하면서 그 경기와 같은 경기력이었냐고 이의를 제기하시는 것과 같은 문제입니다.  같은 점수라고 해서 경기력이 동일한 것은 아닙니다.

지금의 평점시스템에서 그 점수에 수렴된다는 의미일뿐이라는 점을 평점을 보시는 분들이 이해해주셨으면 감사하겠습니다.

통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
06/05/30 16:10
수정 아이콘
흠... 저는 어차피 평점에 큰 의미를 두지 않아서요. 그냥 평점위원들의 점수와 코멘트를 보면서 와~ 나랑 비슷하게 생각했네, 이런 게 더 재미있고 신이 납니다. 그래서 C.O.P 선정에도 크게 의미를 두지 않는 편이고요. 어차피 무슨 공신력 있게 하는 것도 아니고, 말 그대로 PgR을 찾는 분들에게 즐길거리를 하나 더 제공한 것 이상도 이하도 아니라고 생각합니다. 물론, 그렇기 위해서 선행되어야 하는 기준은 분명 있어야 한다는 점에 동의도 하고요.
그런데 점점 이게 짐이 되는 느낌이네요. 자게에서도 벌써 평가에 대한 의견이 분분하고 벌써부터 시스템을 어떻게 고치고, 점수 매기는 데 신중하고... 어차피 보는 사람이니까 직접 평가를 하시는 분들에 비해서 제가 훨씬 더 자유롭겠습니다만, 점점 경직되고 뭔가 확대되고(?) 있다는 느낌이 들어서 편치가 않습니다. 제가 자유롭게 느꼈던 것들이 점점 뭔가 획일화되고 있는 것 같아요.
어차피 4thrace 님이 말씀하신 것도 수긍하시는 분들은 받아들이시고 아니신 분들은 아니시겠지만, 이제 시작한 게 1주 정도 된 평점에 대해 너무 과도한 이야기가 나오는 것 같다는 느낌입니다. 뭐, 결국은 평점위원분들이 알아서 하시겠지만요...
XoltCounteR
06/05/30 16:13
수정 아이콘
흠흠...그냥 단순한 놀이고
공신력도 객관성도 보장하고자 하지 않는(?) 그냥...그냥 우리들만의 놀이라고...
몇번이나 운영진들이 당부했는데
평가위원이신 제4의종족님이 이런글을 올리시다니...'_';;;
저는 그냥 무난한 평가 역시 그냥 평가위원의 소신일 뿐이고 '경기수준'이라는 수리적인 채점이 불가능한 부분에대한 공정성을 요구하는 것은 비전문가 집단인 우리에겐 무리라고 생각됩니다...

전...평가 방식에 있어선 지금과 같은 형태가 좋다고 봅니다.

뭐...물론 한두사람의 의견에 의해 cop가 바뀌어 버릴수도 있는 가능성과 대다수가 무난한 점수를 줌으로 인해 경기수준의 평가가 올바르게 이루어 지지 못할 수 도 있겠습니다만 우린 전문가 집단도 아니고...'공정성을 생각하면서 채점해주세요~'라는 부탁은 자기 소신대로 채점하지 못하는 경우도 생길수도 있다고 봅니다.
WizardMo진종
06/05/30 16:13
수정 아이콘
이런들 어떠하리 저런들 어떠하리...
06/05/30 16:17
수정 아이콘
네. 지금과 같은 방식도 좋습니다.

그러나 모두 무난한 평가를 하시는 가운데 저같은 사람이 9점을 남발하면..... 바로 그것이 C.O.P로 연결되버리는 상황이 발생하므로.... 이런 문제를 제기해 봤습니다.
서정호
06/05/30 16:23
수정 아이콘
놀이가 맞습니다만...그렇다고 평점을 보는 사람들의 입장도 생각하지 않는다면 '그들만의 놀이'가 될지도 모릅니다.
06/05/30 16:24
수정 아이콘
9점을 남발 하셔도 COP에 대한 영향력은 별로 없습니다.
왜냐면 평균 7점에 2점 더하신것인데. 그것은 평균 0.1 점을 올릴 뿐입니다.
또 당연하게 반대쪽 편향이신 분이 6점을줄 가능성도 있기 때문에. 큰 영향이 없습니다.
모두가 평균치를 줄때 한사람이 높은 점수 라는 전제는 평균치에서 자신을 제외 하신것이므로. ^^

COP 와 약간의 상금과 연관을 지으려 했다 포기 했는데 지금 상황으로는 잘한 결정 같습니다.
괜히 논란에 기름을 부을뻔.. ^^
온게임넷에서도 점수 하네요. 유행인가.
XoltCounteR
06/05/30 16:26
수정 아이콘
흠...그렇군요...
역시 자기 소신대로 하면 되는군요!
06/05/30 17:00
수정 아이콘
올림픽에서 체조 점수 주듯이 최고, 최저 점수 두개를 빼고 계산하면 어떨까요?
06/05/30 17:05
수정 아이콘
이런거 하는지도 몰랐네요;;
쟈코님 말씀처럼 그냥 outlier 제외하면 되겠네요
통계에서도 그렇게 하죠.
호수청년
06/05/30 17:11
수정 아이콘
레벨과 벌점으로 뽑지 말고 특정 경기 후기를 받아서 뽑는건 어떨까요?
후기 역시 객관성 몇점 표현력 몇점 상황정리 몇점 객...관화 를 할려니 또 점수를 매겨야 하고......

전 이해할 수 없네요. 친구에게 말하듯 코멘트를 주고 점수를 남기려 하는데 말이죠.

친구에게 이야기하면서도 객관적 검증을 받을 필요는 없지 않습니까?


그리고 이곳 PGR21은

순.수.아.마.추.어

모임입니다.
06/05/30 17:16
수정 아이콘
현재 평가에서 40명 심사위원중에서도 27명 내외분들이 참여하고 있습니다. 올림픽에선 8명 내외의 심사위원이 있어서 1분을 제외하고 있으니 신빙성이 있다해도 27인 중 상하점수 하나를 제외하거나 향후 80인으로 심사위원이 늘어나는 상태에서 상하점수 하나를 제외하는 것은 아무 의미도 없다고 봅니다.

7점을 평준 점수의 기준으로 할때 8점은 1표..... 9점은 2표의 영향력이 있습니다. 승리한 경기에 7점을 주는 심사위원은 C.O.P에 영향력을 전혀 행사하지 못한 것이고 8점은 1표..... 9점은 2표의 영향력을 행사하게 됩니다. 9점을 주는 것이 불과 0.1점 차라고 해도 9점을 3인이 주면 0.3점의 차가 발생하고 그 점수차면 C.O.P선정엔 충분한 점수차입니다.

기준을 정하는 것도 중요하지만 심사위원들이 7점과 8점만이 아닌 9점 정도까지는 적극적으로 활용하는 투표기준이 세워져야만... 심사위원들의 영향력이 동일하게 행사되는 순기능을 발휘할 것 같습니다.

심사위원들이 80인이 되는 상황에서 상위와 하위 투표를 제외하는 것은 의미가 없다고 보고 말입니다. 결국 평가기준을 어느정도 객관적으로 확립하는 것도 필요하다고 봅니다. 그 평가기준으로도 분명 9점을 짜게 줄 수는 있습니다. 그러나 심사위원들의 영향력의 편차가 줄어드는 순기능은 발휘하리라 봅니다.

p.s 그리고 우리끼리 재미있게 하는 놀이래도..... 보는 분들은 그렇게 보지 않을 수도 있어서......
06/05/30 17:24
수정 아이콘
넵. 충분히 이해 합니다.

일단 3달 정도 현 상태로 유지하고 그후에 변경 또는 포기에 대해 논의해 보면 좋겠습니다. ^^
시행 착오가 필요합니다.
안녕하세요
06/05/30 17:34
수정 아이콘
평가위원들이 생각하는 점수 그대로 매기는 것으로 충분하다고 생각합니다.
몇몇 분들이 말씀하시는 것들을 보면 그 어떤 제도로도 만족시켜드리기 힘들 것 같습니다.
아직 평점 제도 시작한지 1주일밖에 되지 않았습니다.
적어도 1~2달 정도는 지켜보고 그 문제점을 고쳐 나가는 것이 좋지 않을까요?
06/05/30 17:51
수정 아이콘
제가 너무 섣부르게 문제를 제기한 것 같습니다.

호미님과 안녕하세요님 말씀대로 석달 정도 경과를 지켜보는 것이 바람직한 것 같습니다.

PGR은 분명 팬사이트고 평점제도 흥미를 위한 아마츄어적인 기능과 시스템입니다. 그런데도 이런 시스템하나 만드는 데도 여러 생각도 들고 고민하게 만드는 것은 PGR의 공공성때문인 것 같습니다.

PGR은 팬사이트고 아마츄어사이트지만 나름대로 E-스포츠에 영향력을 미치는 공공성 또한 갖고 있습니다. 따라서 평점이란 시스템 하나를 도입하는 데도....... 순수팬사이트적 아마츄어리즘과 공공성의 충돌이 미세하게 발생할 수 있는 것 같습니다. 그리고 어느 하나에만 집중할 수 없는 딜레마가 PGR에 있는 것 같습니다. 이 양자의 조화를 이뤄내는 것이 이상적인 방향인 것 같습니다.
Peppermint
06/05/30 17:58
수정 아이콘
너무 과도한 관심은 부담이 될 것 같아서 요즘은 댓글도 자제하고 있는데,
4thrace님께서 직접 글을 쓰셨네요. 굉장한 완벽주의자이신 것 같습니다..^^
사소한 것에 목숨걸고 항상 도둑이 제발 저리게 되는 저로서는 왠지 이해가 됩니다..;;
(4thrace님이 그렇다는 말씀은 아니구요!! 제가 좀 특이한 방면으로 완벽주의자라는 말씀입니다..하하)
고민 많이 하시는 평가위원님들이 계시기에 평점, 코멘트 볼 맛이 나네요.
저역시 시간이 해결해 줄 것 같습니다.
06/05/30 18:00
수정 아이콘
아..... 제가 A형이라서..... 사소한 것에 목숨을 초개처럼....... -_-
호수청년
06/05/30 19:01
수정 아이콘
PGR의 영향력이라...

현재 PGR이 가지는 영향력 중에서 전문성 이라는 부분이 얼마나 있을까요?

게임이 끝난뒤 후기가 몇개나 올라 옵니까?

김연우님을 제외한다면 프로에 가까운 시각으로 게임을 보는 사람이 몇이나 됩니까?

우리들이 가지고 있지도 않을 뿐더라 사람들이 기대하지도 않는 전문성입니다.

월드컵 게시판이 따로 생기고, 자게보다도 유게에 머무르는 시간이 많은 PGR입니다.
우리들이 가진 전문성이란... 점점 없어지고 있습니다.
06/05/30 20:45
수정 아이콘
원채 전문가 뺨치는 몇몇 회원들이 이 사이트에서 활동하신 바가 있어서 그렇지, 팬사이트에서 전문성 찾는 것도 참 뭐하죠...ㅡㅡ)a
사상최악
06/05/30 21:08
수정 아이콘
잠깐 남겼던 리플은 지웁니다.

다시 본문관련 댓글을 쓰자면
점수보단 코멘트를 더 중요시했으면 좋겠네요.
아드보카트라
06/05/30 21:22
수정 아이콘
사상최악님 말씀처럼 점수에 집착하기보단 코멘트를 더 중요시하는게 재미로 하는 원래취지에 맞는 것 같네요.
06/05/30 21:23
수정 아이콘
체조경기처럼
20명이 평가에 참여했다고 가정해서
최고점수준 3명정도의 점수를 제외하고 최하점수준 3명정도의 점수를
제외한 평균값을 점수로 반영해야 하는것 아닌가 싶네요
편차가 큰 것을 감안할수 있는 평가방식
체념토스
06/05/30 21:32
수정 아이콘
흠...

저같은 경우에는... 아무리 승리한 경기라고 하더라도..

경기력이 엉망이라면 6점.. 아니 5점 줄 의향이 있습니다..

소신대로 하고 싶어요~
글루미선데이
06/05/30 21:45
수정 아이콘
뜬금없지만 스타가 나온 지가 몇년인데 사실...왠만한 유저들은 다 전문가죠
전문가가 없는게 아니라 거의 다 비슷 비슷한 수준이라고 생각합니다
한게 몇년이고 본게 몇년이더라...-_-
호수청년
06/05/30 23:32
수정 아이콘
저도 글루미선데이 님처럼 생각했습니다만, 김정민해설위원의 해설을 듣고 생각이 바꼈습니다.

하늘과 땅만큼의 수준차이가 있더군요.
06/05/30 23:52
수정 아이콘
7년? 8년? 이 정도 기간을 스타를 시청하고 게임도 해보았지만, 전문가라고 생각해 본 적 없고 다른 고수들과 비슷한 수준이라고 생각해 본 적도 없는 듯하네요. 그 기간 동안 뭐 했냐? 라고 물으신다면 할 말 없지만, 확실히 다른 건 다른 걸요. 주변 인물들 중에 전문가적 식격을 갖춘 사람도 꽤 있다고 여겨지긴 하지만, 그래도 그것과는 별개의 문제라고 생각합니다. 그냥 각자의 소신대로 경기를 보고 즐기고 그에 대한 감상 혹은 비평 정도로 생각하고 싶다면 무리일까요? 뭐, 최소한 저는 그렇습니다...
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회 추천
23532 서바이버리그 업그레이드 베르트랑 출현.......(스포일러 있습니다.) [95] yellinoe6295 06/05/30 6295 0
23531 PGR 평점제에서 소수의 편차큰 평가위원들의 C.O.P 영향성. [25] 4thrace3725 06/05/30 3725 0
23529 이 runner는 누구인가? [21] XoltCounteR3921 06/05/30 3921 0
23528 온게임넷 프로게임단(가칭) 창단을 축하합니다 ^^ [83] NoWayOut6093 06/05/30 6093 0
23524 PGR하다. [1] 최종병기그분3762 06/05/30 3762 0
23522 사흘 동안의 단절 [5] 캐럿.4207 06/05/30 4207 0
23521 전략게시판의 질적 측면에 대해... [10] lxl기파랑lxl3480 06/05/30 3480 0
23520 pgr스럽다. [12] 백승3378 06/05/30 3378 0
23519 각 게이머들이 해설을 한다면 할 법한 멘트들.... [15] 카르패디엠4018 06/05/29 4018 0
23518 임요환과 강민..같이 죽고 같이 살자고 서로 약속이라도 했나요?;;; [36] 김호철7968 06/05/29 7968 0
23517 KTF는 더욱 강해졌다! [16] pioren3900 06/05/29 3900 0
23516 다음주 월요일 메가스튜디오가 미어 터질껏입니다. [54] 초보랜덤6528 06/05/29 6528 0
23515 프로리그 신 Match-up 방식 제안 : C.C.S (Classic Choice System) [15] abyssgem4146 06/05/29 4146 0
23514 KTF 대 E네이쳐 (엔트리 공개) [57] 완전소중류크4492 06/05/29 4492 0
23513 조만간에 스타크래프트의 대대적인 업데이트는 꼭필요하다...! [23] Pride-fc N0-14039 06/05/29 4039 0
23512 평가위원중 한명인 호수청년입니다. [20] 호수청년4006 06/05/29 4006 0
23511 프로리그 동족전 문제와..... 흥미를 끌 수 있는 새로운 공상적인 시스템. [8] 4thrace3951 06/05/29 3951 0
23509 조금 더 너그럽게.. [12] 영혼을위한술3378 06/05/29 3378 0
23507 한빛대STX - 편향적으로본 최악의 팀전 [27] homy4837 06/05/29 4837 0
23506 이번 프로리그의 재미 반감은 맵이 강요했다. [50] 노게잇더블넥5216 06/05/29 5216 0
23505 서바이버 2라운드에대해 [9] 서희3416 06/05/29 3416 0
23504 화용론의 기본... [4] 포도나무4325 06/05/29 4325 0
23503 ‘말을 잘 안 듣는 아이’를 위하여-박노자(한겨레 펌) [13] 진리탐구자4325 06/05/29 4325 0
목록 이전 다음
댓글

+ : 최근 6시간내에 달린 댓글
+ : 최근 12시간내에 달린 댓글
맨 위로