意識染 The Portrait of Consciouseness

在一開始的研究範圍設定大概分為兩種，第一個是採用「意識是可以用資料表現且量化的」，第二種是「由於當代腦神經科學的有限知識，因此意識是無法被討論的」。而關於如何在藝術表現上結合「什麼是意識」的討論的想法，也隨著對研究的理解上的增進而逐漸被修正。

生物科學和腦神經科學近年的發展，使「意識是什麼」在近20年前起開始成為能夠成為科學題目，盡管仍屬於弱勢科學，例如，整合信息理論 （Integrated Information Theory, IIT）是個嘗試解釋意識並且將其量化的理論，並認為意識的存在有可能涉及到物理的領域。它是由威斯康辛大學的精神病學家和神經科學家朱利奧·托諾尼（Giulio  Tononi）所提出。不論是哪種系統，IIT理論試圖去預測該系統具備多少意識，根據IIT，一個系統的意識程度取決於系統中「因果關係」的屬性和質量，因此，意識如果能被量化，其應被視為本質的、基本存在的。根據IIT，這個統一的體驗依賴於大腦將收到的所有感覺信息融合（或整合）為一體的能力。為了度量整合的程度，Tononi利用了美國工程師Claude  Shannon（資訊理論創始人）在20世紀中期創製的資訊理論的數學原理，並將其應用到了大腦上。按照信息整合理論，這些信息度量指標允許我們計算出一個唯一精準的數字來描述任一時刻大腦中信息整合的程度。這個度量數字被Tononi稱為「Phi」（Φ），並被當作意識的指數。一個系統的Phi越高，則它的意識程度就越高，而不管它是一個小孩的神經系統、或是一隻貓的、甚至是一隻瓢蟲的。IIT 的有趣之處在於，意識實體並不一定非得是有生命的有機體。任何一種能整合信息的系統，不論它是基於碳元素，還是由矽晶片、金屬線圈組成，都能產生意識狀態。現代計算機作為信息處理器具備了一定經驗，但這些經驗可能還太少，以致於人類難以察覺。IIT其實就是古老哲學觀點「泛心論」的當代表達。信息集成理論告訴我們能夠測量出意識的程度（Phi 或φ），但卻無法回答不同信息是如何產生不同感受的，就像熊熊火焰或性高潮所帶來的不同感覺。

但資訊整合理論（IIT）可能是一種宗教，或者至少在很大程度上依賴於同意的美學，從現象學到機制的這種跳躍的能力取決於IIT的假設，即如果有意識的經驗可以被底層物理系統完全解釋，那便代表物理系統必須受到經驗屬性的約束。事實上，它只是使意識成為一種假設和定義。因為IIT有數學模型，可能很適合去作詩意的科技藝術。一個理論對現實的真相一無所知。 它可能是對現實的描述，僅讓我們能夠談論我們對現實的體驗。 它也可能是預測性的（科學家們的希望），這意味著我們已經成功地模擬了一些關於「現實」的觀察，足以窺探未來。 意識的問題在於，很難說它不僅僅是描述我們對世界體驗的近似術語。 當人們試圖超越時，他們就會物化這個理論，然後就有一堆隨之而來的謬誤：像是大腦（以某種方式）製造意識，但它沒有，心智也沒有。
另外一種討論意識的參考途逕我看向了大衛查莫爾（David Chalmers）：「現在你的大腦裡正播放一部電影，一部很棒的多軌道電影， 它有3D視覺特效與環繞音效，為你帶了一場視聽盛宴，但是還不只如此。你還能聞到、嚐到、觸摸到， 它與你的身體感官融為一體，痛覺、飢餓、高潮，它還有感情、 憤怒與開心，它擁有回憶，像是兒時情景在你面前播放著，在你的意識流裏還有似近似遠的旁白解說。這部電影的主角是你，直接經歷所有一切。這部電影就是你的意識流，對於內在世界甚至與外在世界主觀的精神體驗。意識是人類存在的幾個重要基礎之一，我們每一個人都具備意識。 我們都主演一部內在的電影， 你、你，還有你。沒有比意識更直接的感受了，至少我能直接理解我意識，但我無法確知你們是否都有意識。意識賦予存在意義，如果我們沒有意識，生命中的一切便失去意義和價值，這是宇宙之中最神秘令人費解的現象。為何我們擁有意識？為何我們擁有這些內心世界的電影？為何我們不像機器人一樣，只是簡單的輸入資料，輸出資料，對內在的感受全然不覺？這個問題至今沒有解答。我認為研究意識這一門科學，我們需要建立一些基礎概念：

1.2 大衛查莫爾
大衛查莫爾有兩個瘋狂想法，第一個是，意識是一種基本概念（或元素）。 物理學家有時會把宇宙中的某些方面作為一種基本概念： 空間、時間，和質量。 他們假定一些基本法則來約束它們， 比如重力定律，或量子力學定律， 這些基本性質和定律並不能解釋一些比定律本身更為基礎的東西， 這相當於以它們為基礎， 然後再向上構建一切。 這張基本定律的範圍會不定時的擴大，像是 19世紀 Maxwell 發現不能用當時存在的基本概念—— 空間、時間、質量、牛頓定律來解釋電磁現象， 因此他重新設定了電磁現象的基本定律， 設定電荷作為這些定律的基本元素。 大衛認為這與我們在 研究意識上的情形是一樣的， 如果你不能用現有的基本定律來解釋意識，那麼從邏輯上來講，我們就應該擴展基本定律的清單。自然應該假設意識為某種根本的東西， 自然界中最基本的一部分。這不意味著就不能用它來研究科學， 它為你研究科學開闢了一條新路，我們需要做的就是研究控制意識的基本定律、那些將意識與其他基本概念，空間、時間、質量相聯繫的概念。

第二個瘋狂的想法是，意識也許是普遍存在的，每個系統都有某種程度的意識，這種觀點被稱作泛心論，任何事物皆有心理活動，每個系統都是有意識的，不僅僅是人類、狗、老鼠、蒼蠅， 甚至 Rob Knight 的微生物，基本粒子都有意識，甚至一個光子都有某種程度的意識。這一觀點並不表明光子擁有智慧或更夠思考，不是說一個光子會陷入深深地焦慮，因為它想著：「我總是以光速跑來跑去， 從未停下來輕嗅玫瑰。」並不是這樣。而是表明光子也可能有一些原始的主觀體驗，一些原始的意識的前兆，在物理和意識中間有許多精妙的連結，尤其是在量子物理之中。我們不應該將意識拋除在物理科學的討論之外，而是應該要在其中找到意識的「角色」， 也許我們必須把「意識」認同為一個無法再被縮減的最小單位，正如時間、空間和質量在物理學裡的位置，今天我們可以注意到一種主流的假說，在量子力學裡波函數是被意識給崩解的，或是波函數崩解正是意識本身，他們是一體的。

1.3 大衛普萊司提
相較於以上二者，大衛普萊司提（Dr. David E. Presti）反對將透過將理論數學化或工具化，使用假說並「哲學式的」討論意識。他關注身心問題 Mind -Body Problem；只要是關於意識、心智、物理上的腦部之間的連結，我們可以稱之為身心問題，這裡開始我們所謂的什麼是意識的生物性基礎問題。什麼是心智？什麼是意識？在2005年的Science期刊上，為了慶祝125年的期刊週年慶，他們列出了125個大問題去訪問當時所有知名的科學家，期待日後人類可以解答這些問題，其中第一個問題是宇宙是什麼組成的？第二個就是什麼是意識的生物性基礎？我想擴張第二個問題，什麼是心智？在某個程度上我們的大腦是可以被測量的，我們都知道我們的身體和心智是我們所有擁有的一切去體驗這個世界，但是唯一能證明這件事的方法就是透過我們的感知，而「感知」亦是一部分我們的意識（所以無法證明）。我對意識的定義是我們體驗這個世界的方式，是以「我」這個主觀的「容量」範圍內所能感知到的一切，但我會把「心智」（mind）定義為一種集體心理經驗（collective mental experience）像是我的想法、我的感受、我的知覺如顏色、味道、音樂或是自我形象等。心智（mind）似乎是一個比較大的範疇，通常我們透過我們的意識去體驗這些心智感受，但是也有很多心理作用是在無意識的情形下發生的。我們是誰？我們怎麼和我們所謂的現實連結？什麼是的的確確的現實？在意識的框架下這個問題變得很廣泛，我們真的知道我們是誰嗎？我們所知道的一切都是透過這個模式「意識感知」來理解，之所以為什麼意識是什麼會是一個巨大的題目，這是所有問題的核心，牽涉到我們所做的一切事情。意識這個詞在五十年前還不能被放上科學的桌面上討論，但現在不同了。物理是我們詮釋世界的一切基礎，化學是解釋物質的基礎，基本上還是物理的延伸，但研究的尺度上是向下縮減，縮減一路到薛丁格的量子力學。然後到生物科學，是物理和化學的衍生，在一百多年前科學家認為生命是有除了原子和分子之外還有某種特殊元素或是微磁場在驅使著生命，直到現在科學家認為以現在的技術，再十五年後我們便能在實驗室裡創造生命，但是至今還是沒人做到。然後神經科學（neural siecnce）加在諸上，五十年前開始成為研究主流，然後再之上我們有「心智」（mind）。把心智放在科學領域中可能有點奇怪，那只是因為主流科學還不能理解心智；如果我們看看物理主義(physicalism)，他是一種哲學主義主張，我們應該能夠根據物理學中的基礎元素像是物質、能量，來完美的詮釋這個世界的所有事物，這其實只是一種世界觀，就像現在如果你對事物的詮釋不屬於以上這幾項（物理、化學、生物學），但其實你也只是在提供一種世界觀。

大衛也提到例如像Golgi 是19世紀末的一位義大利解剖學家，他製作了一系列史上最精美的腦神經素描，直到一百年後也沒有人能超越他複雜的成就。他能做出這麼精美的素描是因為1870年他發現一種神經染色的方式，能讓神經對染劑產生黑反應，有趣的是這些精美的素描只呈現了1%的神經數量。威廉詹姆士 William James （The Briefer Course 1895) 被尊稱為美國心理學之父，也是「美國心靈學研究會」（1885年成立）的主要創立者，終其一生都在探討超個人的心理現象與超心理學，認為人的精神生活有不能以生物學概念加以解釋的地方，可透過某些現象來領會某種「超越性價值」；並強調人有巨大的潛能尚待開發，人的意識只有很少一部分為人所利用。 現今有幾個藉由當代科學工具來探討什麼是意識的研究方向，像是透過腦病變，如中風或是癲癇，觀察這些受損的腦部位如何影響他們的行為，還有腦部掃描繪圖領域，如PET掃描、功能性磁共振成像(functional magnetic resonance imaging)，或是藥理性的，大麻怎麼作用、酒精怎麼作用、咖啡因怎麼作用，關於腦部的生理部分怎麼和意識連結，其實這都要感謝多年前LSD的發明啟發了這些當代的研究。大衛的意思是，像有些學者如 Tononi 宣稱他可以用一種簡潔的方程式去解釋意識，但那根本就只是一種宗教，從那些方程式裡根本就得不到任何可信的答案，因為根本沒有人知道腦裡面發生了什麼事，你根本不知道你死了會去哪裡，任何宣稱有答案的人都是不可信的。大腦的結構極其複雜，腦神經約有一百億到兩百億多，且大腦是24小時在運作，就算是你在黑暗且寧靜的房間裡，突然燈開了，再突然播放巨大聲響，你的腦也只會提高約3%的運作，大腦的結構遠超過我們的想像，在某些神經突觸的信號交換的確是化學的、單一原子尺寸的，他的確有可能是量子現象，但仍不代表我們真正知道到底發生了什麼事。

^6/17

^6/18

^6/18

^6/25

^9/14

肖像畫是藝術家李民中的計劃，他自2011年起開始為幾百位民眾進行肖像畫製作，本計劃試圖補捉畫家在此過程中所產生的EMG資料，並找出其與最終畫作的可能關連性。將收集到的EMG資料和畫作上的顏色做連結，為了研究中視覺辨識的目的，在計劃中使用了兩個人工智慧工具，由Google開發的Mobilenet和專門處理音訊饑械學習的MuBu Library。Mobilenet使用卷積神經網路 Convolutional Neural Network(CNN)，是一種輕便的CNN模型且能將訓練好的模型下載到個人電腦上，辨識反應時間快，Max在今年9月將node.js系統整合進來，因此可以輕易的在Max/msp環境裡使用npm使用各種javascript功能，加上今年Google發表了tensorflow.js，以往tensorflow只能在Python上製作，現在能在所有的網站上或是node系統上執行了。做在max/msp裡的好處是因為雷射系統和EMG偵測系統都在Max中，軟體整合性高。但是由於技術門檻，在本計劃中只有在Max/msp中運行Moblienet的現成模型，沒有完成自己訓練模型。

另外在實驗中期還不會卷積神經網路寫法時， 先使用了 MuBu library 中的高斯混合模型GMM（Gaussian Mixed Model)來進行圖像辨識的工作。MuBu 是用於聲音和動態多模態分析、交互式聲音合成和機器學習的工具，由 IRCAM 的 Sound Music Movement Interaction Team （ISMM）團隊開發。我使用 MuBu來辨識我從CCTV攝影機輸出的NTSC類比訊號（傳統的CCTV資料格式採用NTSC格式，將掃描線用類比波形來描述），這是一個有趣的途徑但卻不是一個有效的辨識方法，MuBu只能在同樣的角度下辨識畫作，如果將畫作或是CCTV的角度改變了，辨識就失效了，也就是說這種方法只能辨識一模一樣的圖案，而不像GNN那樣能夠在各種角度下辨識同一個物體。

由於我認為必需要深入了解機械學習的結構性、數學性才能進行比較有意義的創作，因此前期花了數個月在基礎概念養成、資料系統設計、手臂調教，而這些都不是一年能夠完成的訓練，所以在最後呈現上沒有將這些概念整合成為一個完整的作品。在數學上，我開始理解非線性激活函數、反向傳播算法是在機械學習中的重要觀念。技術上因為今年tensorflow.js的發表，在未來會朝向以javascript結合node.js為創作工具。機械學習模型在未來會傾向以增強學習（reinforcement deep learning）為技術基底，這是一種不需要大資料而純粹以當下經驗作為判斷條件的非監督式演算法，在機械學習領域中是較新的領域，也有很大且活躍的社群和資料庫。在閱讀許多機械學習藝術創作的案例後視野也有增長。經過和Adrian Freed的訪談，我很喜歡他把意識問題結合在植物演化上，我目前有一個溫室結合機械學習的計畫，也許這是另一個很好的研究方向。我之前的創作主題大都是關於「機械式的情感量化」，或是基於cybernetic概念而發想的穿戴式裝置，但是思考層次都還只是停留在對於情感量化的表面美學，這次為了這個意識主題對一些相關當代學說有比較垂直的深度資料整理，收穫很多。另外在檢視許多設計類型的機械學習案例，發現其實很多案例的技術性都不是很高，覺得自己對計畫內技術高度的要求門檻可以降低。

由於成本以及技術門檻原因，沒有選擇腦波做為實驗資料，而是採用了畫家的EMG資料。首先透過五次肖像畫收集了畫家的EMG資料以及畫作，並設計出一場表演。畫家、模特兒以及雷射裝置被放置在同一個房間內，畫家的慣用手裝備了EMG感應手環。畫者的EMG被紀錄並轉為雷射動作，雷射動作依據相機觀察環境資料來改變顏色和光線，這個實驗目標是藉由改變現場的智能環境光來介入畫家的主觀意識。經過訓練的機器，能夠判別手勢EMG並根據其改變光的動作、顏色、頻率，對環境進行干擾。程式化的光源根據即時EMG資料介入肖像畫過程，並形成一種循環。

雖然最終我理解到，從機械學習或是人工智慧來討論「意識是否存在問題」是一種無謂的嘗試，這使我感到挫折，但回歸到最初本計劃的一部份動機是探討機械學習可以如何的被運用在視覺藝術之中，或是關於如何使用資料來建構對於意識的一個觀看方式，最終還是採用了從認知分類來進行藝術表現，並做了一些調查和文獻收集。例如 Tonori 的 Consciousness, information integration, and the brain（意識、信息整合和大腦），還有Rita Pizzi 和Marialessia Musumeci 的 Coding Mental States from EEG Signals and Evaluating their Integrated Information Content: a Computational Intelligence Approach （從腦電圖信號中編碼心理狀態並評估其綜合信息內容：一種計算智能方法）等。並且我們需要注意的是，理論和假說完全無法詮釋現實，當人試圖解釋超過自己理解所及的討論範疇，我們會物化那個假說，而謬論就隨之而來。我們能夠促進其出現的最佳方式是了解我們摸索的黑暗有多麼偉大，永遠不要忘記我們開始的自然科學假設是臨時的和可修改的事物。