[231호 인문학술: 게임이론] 합리적인 선택, ‘어느 쪽이 더 유리할까?’

합리적인 선택, ‘어느 쪽이 더 유리할까?’

ⓒ movie.naver.com

 

전략적 상황과 합리적 선택

루소의 사회계약론을 보면 흥미로운 상황이 등장한다. 두명의 사냥꾼이 각각 토끼와 사슴 중 어느 것을 사냥할지 결정해야 한다. 토끼는 다른 사냥꾼의 도움 없이 손쉽게 잡을 수 있지만 사슴은 둘이 협력하지 않으면 잡을 수 없다. 사냥 당일 두 사냥꾼은 독자적으로 어느 것을 잡으러 갈지 결정해야 한다. 토끼 사냥을 결정하면 다른 사냥꾼의 결정에 관계없이 확실한 수확을 얻을 수 있다. 반면, 사슴 사냥을 선택하면 다른 사냥꾼의 결정이 자신의 수확에 큰 영향을 미친다. 다른 사냥꾼도 사슴을 잡으러 나타나면 둘이 힘을 합쳐 큰 수확을 얻을 수 있지만, 다른 사냥꾼이 토끼 사냥을 택했다면 하루를 공치게 된다. 루소는 이 상황을 통해 안전과 사회적 협력 간의 갈등을 나타내려고 했다. 상대방이 어떤 결정을 내릴지 알지 못하는 상황에서 어떤 선택을 하는 것이 합리적일까?

사슴 사냥 게임(Stag hunt game)이라고 불리는 이 상황은 전형적인 전략적 상황이다. 전략적 상황이란 자신의 후생(厚生)이 자신의 행동뿐 아니라 다른 사람의 행동에 의해서도 영향을 받는 상황을 가리킨다. 전략적 상황에서는 상대방의 행동에 따라 나의 최선의 선택이 달라지는 것이 일반적이다. 사슴 사냥 상황에서 상대가 사슴을 택한다면 나도 사슴을 택하는 것이 최선이지만, 상대가 토끼를 택한다면 나는 사슴이 아닌 토끼를 택하는 것이 최선이다. 전략적 상황은 현실에서 흔히 존재한다. 예를 들면 가위바위보, 축구의 승부차기, 세계 스마트폰 시장을 둘러싼 삼성과 애플 간의 경쟁, 임금 인상을 둘러싼 노사 간 협상, 북한의 비핵화를 둘러싼 관련국의 줄다리기, 미국과 중국 간 무역전쟁 등 전략적 상황의 예는 무수히 많다.

경제학은 기본적으로 선택에 관한 학문이다. 경제생활을 주로 다루기는 하지만 경제학의 관심사는 인간의 모든 선택을 아우른다. 고전 경제학은 비전략적 상황에서의 경제주체의 선택에 대해서 최적화(optimization)라는 만족스러운 해법을 가지고 있었다. 비전략적 상황이란, 다른 사람을 신경 쓸 필요없이 나만 잘 하면 되는 상황이다. 가령 소비자는 주어진 예산과 상품의 가격을 고려하여 자신의 만족도를 최대화하는 소비 선택을 하면 된다. 이처럼 주어진 여건 하에서 자신의 이익을 극대화하는 것이 최적화의 본질이다. 그러나 고전적 최적화 기법은 전략적 상황에서는 힘을 잃는다. 선택을 할 때 염두에 두어야 할 상대방의 행동 자체가 불확실한 데다 자신의 선택에 따라 달라질 수도 있기 때문이다. 즉, 고정된 제약이라는 것이 존재하지 않기 때문에 최적화를 적용하는 것이 어렵다. 이런 이유로 고전 경제학은 전략적 상황에 대해 만족스러운 분석을 수행하지 못했다.

 

게임이론의 등장과 내쉬균형

이런 고민을 해결해준 것이 바로 게임이론(game theory)이다. 게임이론은 전략적 상황에서 행위주체들의 의사결정을 연구하는 학문이다. 처음에는 수학의 한 분야로 시작했으나 그 속성상 경제학에 폭넓게 적용되었고, 이후 다양한 사회과학 분야에 응용되어 각 학문의 지평을 넓히고 있다. 게임이론의 시작은 이론 물리학자이자 수학자인 존 폰 노이만(Johnvon Neumann)과 경제학자 오스카 모겐스턴(Oskar Morgenstern)이 1944년에 출간한『게임의 이론과 경제적 행동』(Theory of games and economic behavior)에서 비롯된다. 하지만 게임이론의 본격적인 발전은 영화 <뷰티풀 마인드 A beautiful mind>로 일반인들에게도 잘 알려진 수학자 존 내쉬(John Nash)의 연구가 결정적 계기가 된다. 내쉬는 1950년에 쓴 박사학위논문에서 후일 내쉬균형(Nash equilibrium) 이라고 불리게 되는 균형 개념을 제시하였는데, 이것이 보편적인 균형 개념으로 받아들여진 후 게임이론은 급속한 발전을 이루었다. 오늘날 게임이론을 빼놓고는 현대 경제학을 논할 수 없을 정도로 경제학에서 게임이론이 차지하는 위상은 높다.

내쉬균형에 대해 알아보기 위해서는 게임, 즉 전략적 상황의 구성요소를 살펴볼 필요가 있다. 전략적 상황의 가장 핵심이 되는 요소로 경기자(player), 전략(strategy), 보수(payoff)를 들 수 있다. 경기자는 전략적 상황에서 의사결정을 내리는 행위주체를 말한다. 사슴 사냥 게임에서는 두 사냥꾼이 경기자이다. 전략은 각 경기자가 취할 수 있는 행동을 가리킨다. 사슴 사냥 게임에서는 토끼 사냥과 사슴 사냥이 각 경기자의 전략이다. 끝으로 보수는 각 경기자가 게임의 결과를 얻는 이득이다.보수는 자신의 전략뿐 아니라 다른 경기자의 전략에 의해 결정된다.

이 세 요소를 한번에 표 형태로 나타낼 수 있다. <표 1>은 사슴 사냥 게임을 나타낸 것이다. 여기서 A, B는 두 사냥꾼을 나타내며, H는 토끼, S는 사슴을 나타낸다. 표 안의 숫자 조합은 두 경기자의 보수를 나타낸다. 가령 A가 H를 선택하고 B가 S를 선택할 때의 조합 (1, 0)은 A의 보수는 1이고 B의 보수는 0임을 나타낸다.

 

▲ (표 1) 사슴 사냥 게임(Stag hunt game)  ⓒ 필자제공

 

내쉬균형은 전략적 상황에서의 균형을 나타낸다. 경제학에서는 외부적인 충격이 없는 조건에서 현재의 상태가 유지될 경우, 이 상태를‘균형’이라고 부른다. 전략적 상황에서 균형은 어떤 경우에 이루어질까? 다음과 같은 상황을 생각해보자. 두 경기자 A, B가 전략적 상황에 처해 있는데, A는 전략 a를 B는 전략 b를 택하고 있다. 이제 A의 전략 a가 B의 전략 b에 대해 최선의 선택이고 동시에 B의 전략 b가 A의 전략 a에 대해 최선의 선택이라고 하자. 이때 어느 경기자든 다른 전략으로 바꿀 유인이 있을까? 그렇지 않다. 모두가 상대의 선택에 대해 최선의 선택을 하고 있으므로 개별적으로 이탈하면 손해를 보면 보았지 더 큰 이익을 취할 수는 없다. 따라서 A가 a를 택하고 B가 b를 택하는 상황은 계속 유지될 것이다. 이것이 바로 내쉬균형의 개념이다.

 

죄수의 딜레마와 내쉬균형

가장 널리 알려진 전략적 상황인 죄수의 딜레마(prisoner’s dilemma)에 내쉬균형을 적용해보자. 죄수의 딜레마는 다음과 같은 상황을 가리킨다. 두 사람 A, B가 어떤 범죄를 저지른 혐의로 체포되었다. 각 사람은 따로 심문을 받는데, 범행을 자백할 수도 있고 끝까지 부인할 수도 있다. 둘 다 자백하면 징역 5년을 살아야 한다. 둘 다 끝까지 부인하면 물증이 없는 상황이라 다른 가벼운 죄에 대한 처벌로 1년을 살게 된다. 한명은 자백을 하고 다른 한 명은 부인을 한다면, 자백한 사람은 방면되지만 부인한 사람은 징역 10년을 살게 된다. 각 사람의 고통이 징역 기간에 비례한다면, 이 상황은 다음 <표 2>와 같이 표시된다.

▲ (표 2) 죄수의 딜레마(prisoner’s dilemma)

▲ (표 2) 죄수의 딜레마(prisoner’s dilemma)  ⓒ 필자제공

이 상황의 내쉬균형을 찾아보자. 우선 둘 다 부인하는 상황을 생각해본다면, 상대가 부인하는 상황에서 본인도 지금처럼 부인을 하면 1년형을 살지만 자백으로 전략을 바꾸면 바로 방면된다. 따라서 이탈의 유인이 있다. 그렇다면 한 명은 자백하고 한 명은 부인하는 상황은 어떨까? 이때 부인하는 사람은 전략을 자백으로 바꿈으로써 형기를 10년에서 5년으로 낮출 수 있다. 따라서 균형이 아니다. 끝으로 둘 다 자백하는 상황을 살펴보자. 이대로라면 5년을 살게 되는데 혼자 부인하는 것으로 전략을 바꾸면 형기가 5년에서 10년으로 늘어나 더 나빠진다. 따라서 누구도 독자적으로 이탈할 유인이 없다. 이는 둘다 자백하는 상황이 이 게임의 내쉬균형임을 보여준다.

죄수의 딜레마가 흥미로운 이유는 모든 행위주체가 합리적으로 행동함에도 불구하고 그로 인한 사회적 결과가 비효율적 이라는 데 있다. 이 게임의 내쉬균형에서 두 용의자는 모두 자백하여 5년형을 산다. 그런데 만약 둘이 끝까지 부인했다면 둘다 형기가 1년으로 줄어든다. 즉 경기자 일부가 아니라 모두가 좋아지는 개선이 가능하다. 하지만 그런 상황은 균형이 될 수 없다. 상대의 선택이 무엇이든 나는 자백을 하는 것이 유리하기 때문이다. 애덤 스미스(Adam Smith)의 ‘보이지 않는 손’으로 대표되는 경제학의 암묵적인 믿음에 따르면, 개별 경제주체의 합리적인 선택에 따라 사회가 조화롭게 돌아가고 그 결과는 효율적이다. 죄수의 딜레마는 이러한 믿음에 큰 균열을 가했다. 사회적 개선이 가능함에도 불구하고 전략적 상황의 특성상 그러한 개선이 일어나지 않아 비효율이 발생하는 것이다.

인식하지 못할지 모르지만 죄수의 딜레마 상황은 현실에서 다양하게 발생한다. 군비경쟁을 하는 두 인접국의 선택을 생각해보자. 상대국이 군사 예산을 크게 잡는다면 힘의 균형을 맞추기 위해 자국도 예산을 늘리는 것이 최적이다. 상대국의 군비 지출이 크지 않은 경우에도 힘의 우위를 점하기 위해서 자국의 군비 지출을 늘리는 것이 유리하다. 결과적으로 두 나라 모두 군사 예산을 늘리는 것이 내쉬균형이 되는데, 이보다는 애초에 두 나라가 모두 군비 지출을 줄이고 절약된 예산을 다른 유용한 곳에 쓰는 것이 더 좋다. 하지만 그런 상황은 내쉬균형이 아니므로 실현되기 어렵다. 사교육에 대한 과잉투자나 취업준비생들의 ‘스펙 경쟁’도 모두 이러한 성격을 갖는다. 죄수의 딜레마는 순위 경쟁이 벌어지는 상황에서 흔히 발생한다.

 

다중균형과 기대의 중요성

내쉬균형이 항상 하나만 존재하는 것은 아니다. 서두에서 살펴본 사슴 사냥 게임을 생각해보면 상대방이 사슴을 택할 경우 나도 사슴을 택하는 것이 유리하고 상대방이 토끼를 택할 경우 나도 토끼를 택하는 것이 유리하다. 따라서 이 게임에는 둘 다 사슴을 택하거나 둘 다 토끼를 택하는 두 개의 내쉬균형이 존재한다. 여러 개의 내쉬균형이 존재하는 경우 어느 균형이 달성될 것인가는 이론적으로나 현실적으로 매우 중요한 문제인데, 이때 균형의 향방을 결정짓는 중요한 요인 중 하나로 사람들이 갖는 기대(expectation)를 들 수 있다. 사슴사냥 게임에서 상대가 사슴을 선택할 것이라고 기대하면 나도 사슴을 택하는 것이 유리하므로 둘 다 사슴을 택해 큰 수확을 얻는 좋은 균형이 달성된다. 반면 상대가 토끼를 선택할 것이 라는 비관적 기대 하에서는 나도 토끼를 선택하는 것이 유리하므로 결과적으 둘 다 토끼를 택해 작은 수확만을 얻는 열등한 균형이 초래된다. ‘믿는 대로 이루어지는’ 자기실현적균형(self-fulfilling equilibrium)이 발생하는 것이다.

비슷한 현상의 예로 불의한 권력에 맞서 싸우는 시민의 저항운동을 들 수 있다. 저항이 성공하여 권력을 교체하려면 충분히 많은 시민들이 동참해야 한다. 이때 사람들이 다른 사람들도 대거 저항에 동참할 것이라고 예상하면 그것이 실현되어 세력이 눈덩이처럼 불어난다. 반면 운동이 큰 호응을 얻지 못할 것이라고 예상되면 시간이 지남에 따라 저항은 사그라지게 된다. 저항운동의 초기에 권력을 가진 측이 강경한 진압을 시도하는 경우가 많은데, 이는 사람들의 기대에 영향을 미쳐 자신에게 불리한 균형이 달성되는 것을 막기 위한 것으로 해석할 수 있다.

 

정치학과 게임이론의 접목

앞서 말했듯이 게임이론은 여러 사회과학에 적용되고 있는데, 이와 같은 사례로 게임이론과 정치학의 접목을 들 수 있다. 다음과 같은 상황을 생각해보자. 두 후보자 A, B가 당선되면 실행할 소득세율을 공약으로 걸고 선거운동을 하고 있다. 유권자들은 정치적 성향이나 자신의 경제적 지위에 따라 각자 가장 선호하는 세율이 있으며, 시행되는 세율과 자신의 선호세율 간 차이가 커질수록 그에 비례하여 효용이 감소한다고 하자. 이 경우 사람들은 당연히 자신의 선호세율에 가까운 공약을 내건 후보자에게 투표할 것이다. 편의상 유권자들의 선호세율이 0%부터 100%까지 고르게 분포한다고 하자. A, B가 동시에 공약을 발표한다고 할 때 이 게임의 내쉬균형은 무엇일까? 예를 들어 A는 10%를 선택하고 B는 60%를 선택한다고 하자. 선호세율이 35% 이하인 유권자들은 A에 투표할것이고 35% 이상인 유권자들은 B에 투표할 것이므로 B가 전체의 65%를 득표하여 선거에 승리하게 된다. 그런데 이 상황이 내쉬균형이 아님은 자명하다. B가 60%를 택한 상황에서 A가 공약을 59%로 바꾸면 전체의 60% 가까이 득표하여 선거결과를 뒤집을 수 있다. 이러한 이탈의 유인이 없는 전략 조합은 무엇일까? 조금만 생각해보면 두 후보 모두 50%를 택하는상황이 이 게임의 유일한 내쉬균형임을 알 수 있다. 이 상황에서 둘은 동일한 공약을 택하여 서로 거의 같은 득표를 얻게 되는데, 만약 공약을 50%보다 낮추거나 높이면 50%보다 적은 표를 얻게 되어 선거에서 확실히 패배하게 된다. 그러므로 누구도 50%에서 이탈할 유인이 없다.

이 게임은 경제학자 앤서니 다운스(Anthony Downs)가 게임이론을 선거경쟁에 적용한 것으로, 이에 따르면 두 명이 경쟁하는 선거에서 후보들은 모두 중도 성향 유권자의 선호에 맞추어 정책을 결정하게 된다. 물론 현실은 이처럼 단순하지 않기 때문에 실제로 후보자들이 완벽하게 동일한 정책을 제시하는 경우를 찾아보기 어렵다. 이 모형의 현실적 함의는 양자대결 구도의 선거에서 승리를 추구하는 정당이나 후보자는 극단적인 정책을 내세우기는 어렵다는 것이며, 이는 실제로 현실에서 널리 목격할 수 있는 현상이다.

 

최후통첩게임과 게임이론의 현실 설명력

게임이론은 엄밀하고 우아하며 많은 경우 명확한 예측을 제시한다. 이것이 게임이론이 크게 각광받고 여러 학문에 응용된 이유이다. 그런데 게임이론의 예측이 항상 현실에 부합할까? 게임이론의 유효성과 관련하여 널리 알려진 게임으로 최후통첩 게임(ultimatum game)이라는 것이 있다. 이 게임의 구조는 간단하다. 두 경기자 A와 B가 주어진 돈을 다음과 같이 나눠 갖는다. 우선 A는 전체 금액 중 B의 몫을 정하여 B에게 제시한다. B가 이 제안을 받아들이면 B는 그 금액을, A는 나머지 금액을 받고 게임이 끝난다. 만약 B가 제안을 거절하면 둘 다 한 푼도 받지 못하고 게임이 끝난다. 이 게임의 균형이 무엇일지 생각해보자. 먼저 B의 결정에 대해 생각해보자. B는 자신이 제안을 거부하면 한 푼도 받을 수 없다는 것을 안다. 따라서 아무리 작은 금액이 제시되더라도 그것을 받아들이는 것이 합리적이다. A는 B가 합리적이라면 이러한 대응을 할 것이라는 것을 예상하고 자신의 몫을 극대화하려 한다. 따라서 A는 B에게 최소한의 몫만을 제시하며, B는 이 제안을 받아들일 것이라고 예측된다.

여러 경제학자들이 실험을 통하여 최후통첩 게임에서 피실험자들의 선택을 살펴보았는데 그 결과는 게임이론의 예측과 크게 다른 것으로 나타났다. 우선 제안자가 상대에게 최소의 몫만 제안하는 경우는 찾아보기 어려웠다. 많은 제안자가 절반에 가까운 몫을 제안하였다. 응답자의 행동도 게임이론의 예측과는 사뭇 다르게 나타났다. 제안된 몫이 어느 수준을 미달할 경우, 한 푼도 받지 못할 것을 알면서도 제안을 거부하는 경우가 상당히 많이 나타난 것이다.

이런 결과에 대해 반론이 제기될 수 있다. 가령 제안자가 상당한 금액을 제시한 것은 이타적이어서가 아니라 너무 적은 금액을 제시하면 응답자가 거부하여 한 푼도 받지 못하게 될까봐서라는 반론이 가능하다. 이를 위해 고안된 게임이 독재자 게임(dictator game)이다. 이 게임에서 A가 B의 몫을 정하는 것은 최후통첩 게임에서와 같지만 B는 A의 제안을 거부할 수 없고 무조건 받아들여야 한다는 차이가 있다. 즉 A의 제안이 그대로 실현되는 것이다. 이런 상황에서 A는 B의 반응을 고려할 필요가 없다. 게임이론에 의하면 제안자는 금액 전체를 자신이 가지려 할 것이다. 하지만 실제 실험 결과는 그와 다르게 나타나는 것이 보통이다. 최후통첩 게임보다 적지만 여전히 제안자가 상당 금액을 응답자에게 나눠주는 것으로 나타난다.

이러한 연구 결과가 게임이론의 기본적 논리를 부정하거나 그 근간을 흔드는 것은 아님에 주의할 필요가 있다. 그보다 위의 연구 결과는 사람들이 금전적·물질적 보상에 의해서만 행동하는 것은 아님을 보여준다고 해석하는 것이 타당할 것이다. 즉 금전적 보수가 그대로 게임이론에서 상정하는 보수로 이어지지는 않는다는 것이다. 사람들의 행동은 금전적 보수 이외에도 이타심이나 형평성에 대한 고려 등에 의해서도 영향을 받는다는 것이 위 실험 결과들이 시사하는 바이다.

 

게임이론의 미래

게임이론은 20세기 경제학의 가장 중요한 발전 중 하나로 꼽히며 경제학을 넘어 다른 사회과학, 심지어는 생물학과 같은 자연과학에도 적용되어 각 학문의 지평을 넓혔다. 경제학이론은 규범적(normative) 측면과 실증적(positive) 측면을 동시에 가진다. 규범적 측면이 합리적인 행위주체로 어떻게 행동해야 하는지에 관한 당위와 관련된다면, 실증적 측면은 사람들이 실제로 어떻게 행동하는지를 파악하고자 하는 기술적(descriptive) 성격이 강하다. 게임이론은 규범적 측면에서 매우 성공적이었다. 최근 급격히 발전한 행동경제학과 실험경제학은 실증적 측면에서 게임이론에 도전을 제기하고 있다. 이러한 도전에 의해 수정되고 개선될 게임이론이 인간의 행동에 대한 우리의 이해를 더욱 깊고 풍부하게 해줄 것으로 기대된다.

 

김 광 호 / 한양대 경제금융학부 교수

작성자: khugnews

이글 공유

댓글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다