#10 인포메이션 정보로의 전환

 

제 8 장 정보로의 전환

지성을 구축하는 기본 요소

 

정보이론이 의도하지 않은 분야에
이 정보이론을 적용하는 것은 아마도 위험할 것이다.
하지만 이런 위험성은 사람들이 정보이론을 쓰는 것을
막지는 못할 것이다.J.C.R. 릭라이더(1950)

 

대부분의 수학 이론은 서서히 형태를 갖춘다. 하지만 섀넌의 정보이론은 완전히 형체를 갖춘 지혜의 여신 아테나처럼 불쑥 튀어나왔다. 위너는 섀넌의 근본적인 아이디어는 "정보량을 네거티브 엔트로피로 파악한 것"이라고 말했다.

 

위너는 터프츠대학에서 수학을, 하버드 대학원에서 동물학을, 코넬 대학원에서 철학을 전공한 후 영국의 케임브리지로 건너가서 버트런드 러셀에게 직접 기호논리학과 <수학 원리>를 배웠다.  위너는 17세기에 판 레이우엔훅이 현미경으로 관찰한 바 있는 "대단히 활발하고 완전히 무계획적인 운동"인 브라운 운동처럼 잡음이 통계적으로 움직인다고 생각했다. 위너의 관심을 끈 것은 바로 불연속성이었다. 입자의 궤도뿐만 아니라 수학적 함수도 예상 밖의 행동을 하는 것처럼 보였다. 이는 이산적 카오스였고, 이 개념은 몇 세대 동안 제대로 이해하는 사람이 없었다.

 

위너는 <외삽과 내삽 그리고 정지시계열의 평활> 논문에서 잡음이 섞이고, 불확실하며, 손상된 데이터에서 미래를 예측할 수 있는 통계적 방법을 개발했다. 

 

우리는 모든 것을 평형과 단조로움을 의미하는 열적 죽음으로 만드는 거대한 해체의 급류를 거슬러 헤엄치고 있다. .... 물리학의 열적 죽음은 우리가 도덕적 혼돈의 세계에 살고 있다고 지적한 키르케고르 윤리학에서도 볼 수 있다. 이 세계에서 우리의 주된 의무는 질서와 체계의 임의적인 영토를 구축하는 것이다. .. <이상한 나라의 앨리스>에 나오는 붉은 여왕처럼 우리는 최대한 빨리 달리지 않으면 제자리에 머물 수 없다.

 

위너는 인공두뇌학을 "인간과 우주에 대한 인간의 지식 그리고 사회에 대한 새로운 해석"이라고 썼다. 섀넌이 자신을 수학자이자 공학자로 생각했다면, 위너는 스스로를 최고의 철학자로 여겼고, 자신의 대공포 제어장치 연구에서 목적과 행동에 대한 철학적 교훈을 끌어냈다.

 

행동이라는 개념을 "환경과 관련한 개체의 모든 변화"로 영리하게 정의하면 동물뿐만 아니라 기계에도 적용할 수 있다. 목표를 향한 행동은 목적성을 지니며, 목적은 때로 운용자인 인간이 아니라 기계에 전가할 수 있다. 이를테면 목표 추적 장치가 그렇다. "자동제어 장치라는 용어는 고유의 목적을 가지고 행동을 하는 기계를 가리키기 위해 만들어진 것이다." 핵심은 제어, 즉 자기 규제이다.

 

위너는 적절한 분석을 위해 전기공학에서 "피드백"이라는 모호한 개념을 빌렸다. 피드백은 회로의 출력부에서 입력부로 향하는 에너지의 회귀를 뜻한다. 확성기에서 나온 소리가 마이크로 재증폭되는 경우처럼 피드백이 양성이면 통제하기가 아주 어렵다. 하지만 맥스웰이 처음 분석한 바 있는 증기엔진의 기계식 조속기처럼 피드백이 음성negative이면 시스템을 평형상태로 이끌 수 있다. 

 

다시 말해 안정성의 동인 역할을 하는 것이다. 피드백은 기계적일 수 있다. 맥스웰의 조속기는 빠르게 회전할수록 팔이 넓게 펴지고, 팔이 넓게 펴질수록 속도가 느려진다. 또한 피드백은 전기적일 수도 있다. 어느 쪽이든 프로세스의 핵심은 정보이다.

 

예를 들어, 대공포를 제어하는 것은 비행기의 좌표와 포 자체의 이전 위치에 대한 정보이다. 위너의 친구인 비글로는 이렇게 강조했다 ."이는 에너지나 길이 혹은 전압 같은 특정한 물리적 대상이 아니라 (어떻게든 전달되는) 정보일 뿐이다."

 

위너는 음성 피드백이 어디에나 있는 것이 틀림없다고 보았다. 연필을 줍는 것과 같은 일상적인 행동을 하도록 신경계를 인도하는 손과 눈의 조정력에서 음성 피드백을 확인할 수 있었다. 위너는 특히 운동 기능이나 언어 기능을 손상시키는 신경장애에 주목했다. 신경장애를 정보 피드백이 어긋난 매우 구체적인 사례라 본 것이다. 이를테면 다양한 운동실조증은 감각신호가 척수에서 간섭받거나 소뇌에서 잘못 해석될 때 발생하는 것이다. 

 

공식을 동원한 위너의 분석은 구체적이었고 수학적이었다. 신경학에서는 거의 유례가 없는 일이었다. 한편 피드백 제어 시스템은 공장의 조립라인에 영향을 미치기 시작했다. 기계적 시스템도 자신의 행동을 교정할 수 있기 때문이었다. 피드백은 관리자이자 키잡이였다.

 

1948년 출간된 위너의 첫 저서 <사이버네틱스> 부제 : '동물과 기계에서의 제어와 통신'이었다. 

 

위너 박사는 이 기계들이 문법을 금세 익히는 엄청나고 조숙한 아이들처럼 경험을 통해 배우지 못할 이유가 없다고 본다. 충분한 경험을 저장한 이런 기계 두뇌는 기계공과 사무원뿐만 아니라 다수의 임원까지 대체하여 전체 산업을 운영할 수 있을지도 모른다. .. 박사는 인간이 더 나은 계산기를 만들고 자신의 두뇌를 탐구함에 따라, 갈수록 둘(인간과 기계)이 닮아간다고 설명한다. 인간이 자신을 본떠 거대하게 확대된 형태로 자신을 재창조하고 있다고 

 

이 책이 크게 성공한 이유는 책이 기계가 아니라 인간에 다시 주목했기 때문이다. 원칙적으로 이 기계들은 단순성을 위해 이진법을 활용했다. 고도의 계산을 하려면 일정한 형식의 논리가 필요했다. 그 형식은 무엇일까?

 

그 형식은 '탁월한' 논리대수 혹은 불대수이다. 이 알고리즘은 이진산술처럼 '예'와 '아니요', 혹은 집합 내와 집합 외 사이의 이분법적 선택에 기반을 두고 있다.

 

위너는 두뇌 역시 적어도 일부는 논리적인 기계라고 주장했다. 컴퓨터가 릴레이를 활용한다면, 두뇌는 뉴런을 활용한다. 뉴런의 세포들은 어떤 주어진 순간에 두 가지 상태 중 하나에 있다. 활동하거나 아니면 쉬고 있는 것이다. 따라서 두 가지 상태를 가진 릴레이로 볼 수 있다.

 

"정보는 정보일 뿐, 물질이나 에너지가 아니다."

 

 

바야흐로 흥분의 시간이 찾아왔다.

"우리는 나름의 방식으로 소크라테스 이전 시대와 비슷한 놀라운 과학적 진보의 시대를 다시 맞이했습니다." "과학의 역사에서 처음으로 우리가 어떻게 아는지를 알게 되었고, 이를 명확하게 기술할 수 있게 되었습니다."

 

위너는 모든 학문, 특히 사회과학은 근본적으로 의사소통에 대한 연구이며, 이들을 통합하는 개념은 '메시지'라고 말했다.

 

 

섀넌이 발표에 나선 건 그날 저녁이었다. 섀넌은 의미에는 신경 쓰지 말 것을 주문하고는 발표주제가 영어 문어의 잉여성이지미나 '의미'에 전혀 관심을 두지 않을 것이라고 밝혔다. 정보는 한 지점에서 다른 지점으로 전송되는 어떤 것이라고 이야기 했다. "이를테면 무작위적 수열일 수도 있고, 유도 미사일이나 텔레비전 신호에 대한 정보일 수도 있습니다." 중요한 점은 섀넌이 정보의 원천을 다양한 확률로 메시지를 생성하는 통계적 과정으로 나타낸다는 것이었다.

 

섀넌은 샘플 텍스트를 보여주고, 피험자가 한 글자씩 텍스트를 추정하는 "예측실험"에 대해 설명했다. 섀넌은 영어가 잉여성과 연관된 양인 특정한 '엔트로피'를 가지며, 이 실험들을 통해 그 수치를 계산할 수 있다고 말했다.

 

섀넌과 위너는 강조점이 달랐다. 위너에게 엔트로피는 무질서의 척도인 반면 섀넌에게는 불확실성의 척도였다. 기본적으로 무질서와 불확실성은 같은 것이었다. 

 

글쓰기가 발전하는 동안 언어를 음절이나 글자처럼 단어보다 더 작은 단위로 나눌 수 있다는 사실을 깨닫기까지 상당한 시간(혹은 우연)이 필요했습니다. 저는 글과 말 사이에 피드백이 이뤄진다고 느낍니다.

 

"정보는 무질서에서 쥐어짜낸 질서라고 볼 수 있다."

 

이듬해 섀넌은 로봇을 가지고 돌아왔다. 로봇은 그리 영리하지도, 살아 있는 것처럼 보이지도 않았지만 사람들에게 깊은 인상을 주었다. 미로를 탈출할 줄 알았던 것이다. 이 생쥐 로봇은 섀넌이 설계한 전략에 따라 이전의 "지식"을 토대로 매번 "결정"을 내렸다. 마침내 시행착오를 겪으면서 생쥐가 목표를 찾아 냈다. 

 

이어 섀넌은 다시 시범을 보여주기 위해 생쥐를 출발점에 놓았다. 그러자 이번에는 바로 목표 지점을 향해 갔다. 지난 과정을 "학습"한 것이다. 다음으로 칸막이를 재배열하여 이전의 해법이 더 이상 통하지 않게 만들었다. 때로 특별히 까다롭게 조합되면, 기계가 같은 경로를 끝없이 돌기도 했다. 악순환 내지 도돌이 상태에 빠진 것이다.

 

"신경증이군요!" 랠프 제러드가 말했다.

 

섀넌은 같은 순서를 여섯 번 반복하면 거기서 벗어나도록 설정한 계수기인 "신경증 대응 회로"를 추가했다.  "정말 인간과 비슷하군요." 로런스 프랭크가 말했다.

 

이젠 생물학자와 신경과학자들이 수학자와 전기공학자들과 함께 공동 연구를 진행하기 시작했다. 이들은 그저 두뇌를 이해하는 방법뿐만 아니라 두뇌를 "설계"하는 방법에 대해서도 논의했다. "두뇌는 민감한 시냅스가 무작위로 연결되어 구성되는데, 경험을 통해 필요한 수준의 질서가 구축되는 것으로 추정됩니다." 자기 조직적인 역학계로서의 정신을 연구한다는 말이었다.

 

"두뇌에서 일어나는 분자 수준의 사건에서 이 신호들은 원자입니다. 각 신호는 가거나 가지 않습니다." 근본 단위는 하나의 선택이며, 선택은 양자택일이라는 얘기였다. "이는 참이나 거짓일 수 있는 최소 사건입니다."

 

당시 사람들은 디지털 컴퓨터의 마법이 본질적으로 전기적이라고 생각했던 것이다. 더불어 신경계 또한 전기적이라 여겼다. 하지만 튜링은 연산을 보편적인 방식으로, 다시 말해 추상적인 방식으로 이해하려 애썼다. 연산은 전기와 전혀 관련이 없음을 알았던 것이다.

 

튜링의 유명한 컴퓨터는 논리, 말하자면 가상의 테이프와 임의적 기호로 만들어진 기계였다.

 

'기계가 생각할 수 있는가?'라는 애초의 질문은 논의할 가치가 없을 정도로 너무 무의미하다고 생각합니다. 그럼에도 20세기 말이 되면 관련 용어들이 쓰이고 교양 있는 의견들이 나오면서 상황이 상당히 변화하게 되어 누구라도 쉽게 생각하는 기계에 대해 말할 수 있을 것이라고 믿습니다.

 

섀넌은 튜링을 옹호했다. "기계가 생각한다는 발상은 결코 우리 모두가 꺼림직해할 것이 아닙니다. 사실 저는 인간의 두뇌 자체가 무생물로 그 기능을 재현할 수 있는 일종의 기계라는 역발상이 상당히 매력적이라고 생각합니다." 어쨌든 "'생명력'이나 '영혼'처럼 만질 수 없고 도달할 수 없는 대상을 가정하는 것보다는" 더 유용하다는 얘기였다.

 

 

사람들은 정보를 점점 더 큰 단위로 묶는 행위, 이를테면 전신의 점과 선을 글자로, 글자를 단어로, 단어를 문구로 구성하는 행위를 하는데, 이를 정보이론가들은 재코드화라고 한다. 밀러는 "나는 사고 과정의 생명줄은 바로 이 재코드화라고 본다."

 

정보이론의 개념과 척도는 이런 의문들을 정량적으로 이해하는 방법을 제공했다. 자극 물질에 눈금을 새기고 실험대상의 성과를 측정하는 기준을 정보이론이 마련해준 것이다. ... 정보이론의 개념은 이미 차이를 식별하는 능력과 언어에 대한 연구에서 가치를 증명했고, 학습과 기억에 대한 연구에 큰 도움을 줄 것으로 전망되며, 심지어 개념 형성에 대한 연구에도 유용할 것으로 평가됐다. 20~30년 전에는 쓸데없어 보이던 많은 의문들을 다시 살펴볼 가치가 있다.

 

 

펜실베이니아대학교 강연에서 섀넌은 이렇게 말했다. "결론적으로 말해 저는 이번 세기에 정보를 수집하고, 정보를 한 지점에서 다른 지점으로 전달하며, 무엇보다도 정보를 처리하는 비즈니스가 발전하고 크게 융성할 것이라고 생각합니다."

 

섀넌 자신도 이를 유행이라고 불렀다. "새로운 과학적 분석 방법이 나오고 인기를 끌면서 이에 매료된 수많은 다른 분야의 동료 과학자들이 정보이론의 개념들을 자신의 분야에 적용하고 있다. .... 정보이론 분야에서 연구하는 우리로서는 이런 인기의 물결이 분명 기쁘고 흥분되는 것이기는 하지만, 그와 함께 위험 요소도 따라온다." 섀넌은 정보이론의 핵심은 수학에서 나온 것이라는 점을 상기시켰다.  개인적으로 정보이론의 개념이 다른 분야에서도 유용하다고 생각하지만, 모든 곳에 쉽게 적용할 수 있는 것은 아니라는 말이었다.

 

섀넌의 핵심적 성과 중 하나인 잡음 부호화 정리는 오류정정을 통해 잡음과 데이터 손상에 효과적으로 대응할 수 있다는 사실을 보여줌으로써 갈수록 중요해졌다.  한편 섀넌은 향후 컴퓨터 설계의 단초를 마련한 이론적 진전도 이뤄냈다. 하나는 통신 채널이나 철로, 전력망 혹은 상수도처럼 분기점이 많은 네트워크에서 흐름을 극대화하는 방법이었다. 또 하나는 <부실한 릴레이를 이용하는 안정적 회로>라는 논문이었다.

 

섀넌의 경고처럼 이쪽 계통에서 악명 높은 유행어는 '엔트로피'였다. 또 다른 연구자 콜린 체리는 이렇게 불평했다. "듣자 하니 언어, 사회체제, 경제체제에도 '엔트로피'가 있고, 방법론에 굶주린 다양한 연구들에서 엔트로피를 활용한다고 합니다. 엔트로피는 사람들이 지푸라기처럼 움켜잡는 일종의 포괄적인 일반론입니다." 체리는 정보이론이 이론물리학과 생명과학의 경로를 바꾸기 시작했으며, 엔트로피도 여기에 한 몫하고 있다는 것은 말하지 않았다. 

 

정보이론은 사회과학을 촉진하여 이미 시작된 새로운 시대를 준비하게 했다. 일은 시작되었고, 정보로의 전환은 돌이킬 수 없었다.