意識染 The Portrait of Consciouseness (on going) 

前言 / introduction

觀察行為涉及波函數崩塌已經被公認是量子物理範疇內的事實，再加上生物科學和腦神經科學近年的發展，使「意識是什麼」在近20年前起開始成為能夠被放上科學檯面討論的題目，盡管仍屬於弱勢科學。

在2005年剛認識李民中時還沒有這些認知前提時，常討論到意識是什麼這個題目，因此現在希望能在科學和唯物的角度上，引借一些假說和理論將意識量化並以此為基礎，在一個共同作品內以雙方的角度交涉產生「意識是什麼」的討論。加上油畫和新媒體的組合看似是一個很新穎的組合，於是就邀請了李民中參與這個發想，理論層面上預期用機械學習技術作為「討論意識」的媒體工具，而執行層面上，是將雙方手上現有的計畫透過機械學習的方向做初步的結合。

Observing behavior involving wave function collapse has been recognized as a fact in the field of quantum physics, coupled with the development of biological science and brain neuroscience in recent years, so the question "what is consciousness" has been able to be put on scientific countertops nearly 20 years ago.

When I first met Lee Ming Zhong in 2005, when I didn't have these cognitive premise, we often discussed the topic of consciousness. Therefore, it is interesting that we now can use some hypotheses and theories to quantify consciousness based on science and materialism. In this collaboration, we will discuss the issue of "what is the consciousness" from the perspective of both sides. Oil painting and new media art seems to be a very novel combination. On the theoretical level, it is expected that machine learning technology, IIT will be used as a tool to base on for the discussion toward to consciousness.

研究文獻 / references

整合信息理論

（Integrated Information Theory, IIT）是個嘗試解釋意識並且將其量化的理論，並認為意識的存在有可能涉及到物理的領域。它是由威斯康辛大學的精神病學家和神經科學家朱利奧·托諾尼（Giulio  Tononi）所提出。不論是哪種系統，IIT理論試圖去預測該系統具備多少意識，根據IIT，一個系統的意識程度取決於系統中「因果關係」的屬性和質量，因此，意識如果能被量化，其應被視為本質的、基本存在的。根據IIT，這個統一的體驗依賴於大腦將收到的所有感覺信息融合（或整合）為一體的能力。為了度量整合的程度，Tononi利用了美國工程師Claude  Shannon（資訊理論創始人）在20世紀中期創製的資訊理論的數學原理，並將其應用到了大腦上。按照信息整合理論，這些信息度量指標允許我們計算出一個唯一精準的數字來描述任一時刻大腦中信息整合的程度。這個度量數字被Tononi稱為「Phi」（Φ），並被當作意識的指數。一個系統的Phi越高，則它的意識程度就越高，而不管它是一個小孩的神經系統、或是一隻貓的、甚至是一隻瓢蟲的。IIT 的有趣之處在於，意識實體並不一定非得是有生命的有機體。任何一種能整合信息的系統，不論它是基於碳元素，還是由矽晶片、金屬線圈組成，都能產生意識狀態。現代計算機作為信息處理器具備了一定經驗，但這些經驗可能還太少，以致於人類難以察覺。IIT其實就是古老哲學觀點「泛心論」的當代表達。
信息集成理論告訴我們能夠測量出意識的程度（Phi 或φ），但卻無法回答不同信息是如何產生不同感受的，就像熊熊火焰或性高潮所帶來的不同感覺。

大衛查莫爾（David Chalmers）：「現在你的大腦裡正播放一部電影，一部很棒的多軌道電影， 它有3D視覺特效與環繞音效，為你帶了一場視聽盛宴，但是還不只如此。你還能聞到、嚐到、觸摸到， 它與你的身體感官融為一體，痛覺、飢餓、高潮，它還有感情、 憤怒與開心，它擁有回憶，像是兒時情景在你面前播放著，在你的意識流裏還有似近似遠的旁白解說。這部電影的主角是你，直接經歷所有一切。這部電影就是你的意識流，對於內在世界甚至與外在世界主觀的精神體驗。

意識是人類存在的幾個重要基礎之一，我們每一個人都具備意識。 我們都主演一部內在的電影， 你、你，還有你。沒有比意識更直接的感受了，至少我能直接理解我意識，但我無法確知你們是否都有意識。意識賦予存在意義，如果我們沒有意識，生命中的一切便失去意義和價值，這是宇宙之中最神秘令人費解的現象。為何我們擁有意識？為何我們擁有這些內心世界的電影？為何我們不像機器人一樣，只是簡單的輸入資料，輸出資料，對內在的感受全然不覺？這個問題至今沒有解答。我認為研究意識這一門科學，我們需要建立一些基礎概念：

我有兩個瘋狂想法，第一個是，意識是一種基本概念。 物理學家有時會把宇宙中的某些方面 作為一種基本概念： 空間、時間，和質量。 他們假定一些基本定律來約束它們， 比如重力定律，或量子力學定律， 這些基本性質和定律 並不能解釋一些更基礎的東西， 這相當於以它們為基礎， 然後在構建其他。 現在這張基本定律的清單不時會擴大， 19世紀 Maxwell 發現 不能用當時存在的基本概念—— 空間、時間、質量、牛頓定律 來解釋電磁現象， 因此他設定了電磁現象的 基本定律， 設定電荷作為 這些定律的 基本元素。 我認為這與我們在 研究意識上的情形是一樣的， 如果你不能用現有的 基本概念來解釋意識、 空間、時間、質量、電荷， 那麼從邏輯上來講就應該擴展清單。 自然就應該假設意識 為某種根本的東西， 自然界中最基本的一部分。 這不意味著突然就不能用它來研究科學， 它為你研究科學開闢了一條新路，我們需要做的就是研究 控制意識的基本定律、 那些將意識與其他基本概念，空間、時間、質量 相聯繫的概念。 物理學家有時會說我們希望基本定律簡單地 能讓我們印在T恤上，我想對意識的研究 也同樣如此。我們希望基本定律簡單的能讓我們印在T恤上。

第二個瘋狂的想法是意識也許是普遍存在的。每個系統都有某種程度的意識，這種觀點被稱作泛心論，一切皆有心理活動，每個系統都是有意識的，不僅僅是人類、狗、老鼠、蒼蠅， 甚至 Rob Knight 的微生物，基本粒子都有意識，甚至一個光子都有某種程度的意識。這一觀點並不表明光子擁有智慧或更夠思考，不是說一個光子會陷入深深地焦慮，因為它想著：「我總是以光速跑來跑去， 從未停下來輕嗅玫瑰。」並不是這樣。而是表明光子也可能有一些原始的主觀體驗，一些原始的意識的前兆，

在物理和意識中間有許多精妙的連結，尤其是在量子物理之中。我們不應該將意識拋除在物理科學的討論之外，而是應該要在其中找到意識的「角色」， 也許我們必須把「意識」認同為一個無法再被縮減的最小單位，正如時間、空間和質量在物理學裡的位置，今天我們可以注意到一種主流的假說，在量子力學裡波函數是被意識給崩解的，或是波函數崩解正是意識本身，他們是一體的。」

「理論和假說完全無法詮釋現實，當人試圖解釋超過自己理解所及的討論範疇，我們會物化那個假說，而謬論就隨之而來」-Adrian Freed

大衛普萊司提（Dr. David E. Presti）：「觸鬚星系是兩個星系相碰撞的星系，已經持續碰撞了300萬年，這張照片是哈伯太空望遠鏡拍下的，哈伯已經運轉了20年，很感謝這個人類智慧的結晶讓我們可以觀察到這個美麗的星體，如果把這張星體照轉90度，他看起來就像是一個人類的大腦，我想說的是我想做的是連結物理和意識科學，科學這個字（science）的拉丁字根是「去知道」，所以你可以說科學只是一種求知手段去了解我們的世界。

什麼是心智？什麼是意識？(What is mind? And consciousness?)
在2005年的Science期刊上，為了慶祝125年的期刊週年慶，他們列出了125個大問題去訪問當時所有知名的科學家，期待日後人類可以解答這些問題，其中第一個問題是宇宙是什麼組成的（what is universe made of）？第二個就是什麼是意識的生物性基礎（what is the biological basis of consciousness）？我想擴張第二個問題，什麼是心智？在某個程度上我們的大腦是可以被測量的，我們都知道我們的身體和心智是我們所有擁有的一切去體驗這個世界，但是唯一能證明這件事的方法就是透過我們的感知，而「感知」亦是一部分我們的意識（所以無法證明）。我對意識的定義是我們體驗這個世界的方式，是以「我」這個主觀的「容量」範圍內所能感知到的一切，但我會把「心智」（mind）定義為一種集體心理經驗（collective mental experience）像是我的想法、我的感受、我的知覺如顏色、味道、音樂或是自我形象等。心智（mind）似乎是一個比較大的範疇，通常我們透過我們的意識去體驗這些心智感受，但是也有很多心理作用是在無意識的情形下發生的。

身心問題 Mind -Body Problem
只要是關於意識、心智、物理上的腦部之間的連結，我們可以稱之為身心問題，這裡開始我們所謂的什麼是意識的生物性基礎問題。

我們是誰？我們怎麼和我們所謂的現實連結？什麼是的的確確的現實？Who are we really? How are we related to what we call reality? What indeed is reality?
在意識的框架下這個問題變得很廣泛，我們真的知道我們是誰嗎？我們所知道的一切都是透過這個模式「意識感知」來理解，之所以為什麼意識是什麼會是一個巨大的題目，這是所有問題的核心，牽涉到我們所做的一切事情。意識這個詞在五十年前還不能被放上科學的桌面上討論，但現在不同了。物理是我們詮釋世界的一切基礎，化學是解釋物質的基礎，基本上還是物理的延伸，但研究的尺度上是向下縮減，縮減一路到薛丁格的量子力學。然後到生物科學，是物理和化學的衍生，在一百多年前科學家認為生命是有除了原子和分子之外還有某種特殊元素或是微磁場在驅使著生命，直到現在科學家認為以現在的技術，再十五年後我們便能在實驗室裡創造生命，但是至今還是沒人做到。然後神經科學（neural siecnce）加在諸上，五十年前開始成為研究主流，然後再之上我們有「心智」（mind）。你可能會覺得把心智加在這個階級中有點奇怪，那只是因為主流科學還不能理解心智。

我們看看物理主義(physicalism)，他是一種哲學主義主張，我們應該能夠根據物理學中的基礎元素像是物質、能量，來完美的詮釋這個世界的所有事物，這其實只是一種世界觀，就像現在如果你對事物的詮釋不屬於以上這幾項（物理、化學、生物學），你可能就會被別人踢去瑜珈房練瑜珈，但其實你也只是在提供一種世界觀。
Golgi 高記是19世紀末的義大利解剖學家，他製作了一系列史上最精美的腦神經素描，直到一百年後也沒有人能超越他複雜的成就。他能做出這麼精美的素描是因為1870年他發現一種神經染色的方式，能讓神經對染劑產生黑反應，有趣的是這些精美的素描只呈現了1%的神經數量。
現今有幾個藉由當代科學工具來探討什麼是意識的研究方向，像是透過腦病變，如中風或是癲癇，觀察這些受損的腦部位如何影響他們的行為，還有腦部掃描繪圖領域，如PET掃描、功能性磁共振成像(functional magnetic resonance imaging)，或是藥理性的，大麻怎麼作用、酒精怎麼作用、咖啡因怎麼作用，關於腦部的生理部分怎麼和意識連結，其實這都要感謝多年前LSD的發明啟發了這些當代的研究。

現今有些科學家如Sean Carroall, Tononi 宣稱他們可以用一種簡潔的方程式去解釋意識，那只是一種宗教，從那些方程式裡根本就得不到任何可信的答案，因為根本沒有人知道腦裡面發生了什麼事，你根本不知道你死了會去哪裡，任何宣稱有答案的人都是不可信的。大腦的結構極其複雜，腦神經約有一百億到兩百億多，且大腦是24小時在運作，就算是你在黑暗且寧靜的房間裡，突然燈開了，再突然播放巨大聲響，你的腦也只會提高約3%的運作，大腦的結構遠超過我們的想像，在某些神經突觸的信號交換的確是化學的、單一原子尺寸的，他的確有可能是量子現象，但仍不代表我們真正知道到底發生了什麼事。

威廉詹姆士 William James （The Briefer Course 1895)
他被尊稱為美國心理學之父是「美國心靈學研究會」（1885年成立）的主要創立者，終其一生都在探討超個人的心理現象與超心理學，認為人的精神生活有不能以生物學概念加以解釋的地方，可透過某些現象來領會某種「超越性價值」；並強調人有巨大的潛能尚待開發，人的意識只有很少一部分為人所利用。

「我們能夠促進其出現的最佳方式是了解我們摸索的黑暗有多麼偉大，永遠不要忘記我們開始的自然科學假設是臨時的和可修改的事物。」
The best way in which we can facilitate their advent is to understand how great is the darkness in which we grope, and never to forget that the natural- science assumptions with which we started are provisional and revisable things.

節譯自2016/6/6, youtube: https://www.youtube.com/watch?v=APc89MNRmA8

愛德里恩佛利得Adrian Freed (May, 2018, translated from interview 訪談原文）
資訊整合理論（IIT）絕對是一種宗教，或者至少在很大程度上依賴於同意的美學：「從現象學到機制的這種跳躍的能力取決於IIT的假設，即如果有意識的經驗可以被底層物理系統完全解釋，那麼物理系統必須受到經驗屬性的約束。」
IIT is definitely a religion or at least relies heavily on agreed aesthetics:  "The ability to perform this jump from phenomenology to mechanism rests on IIT's assumption that if a conscious experience can be fully accounted for by an underlying physical system, then the properties of the physical system must be constrained by the properties of the experience.

這對我來說是一個難以接受的假設。that's a difficult assumption for me to swallow.

事實上，它只是使意識成為一種假設和定義。
In fact it just makes consciousness an assumption and definition.

我的假設是意識與植物共同進化，直到最近才調解我們活著的大部分經驗。許多意識研究人員最終會陷入致幻劑的控制，因為他們經歷了新的意識，但實際上這些夢想只是植物的精神控制。
讓我們夢醒的植物（和我們的生物群系）的好處是，我們忘記了我們只是假裝成為全能和獨立的“個體”，而事實上我們正在滿足他們的集體需求： - 蔬菜博格的清潔工和傳播者。
My hypothesis is that consciousness was co-evolved with plants which until recently mediate most of our experience of being alive. Many consciousness researchers end up getting into hallucinogens because they experience new consciousness but really these dreams are just the mind control of the plants. The benefit to plants (and our biome) of making us dream awake is that we forget we are just pretending to be all-powerful and independent "individuals" when if fact we are serving their collective needs: - cleaners and propagators of the vegetable borg.


因為IIT有數學模型，可能很適合去作詩意的科技藝術。
Because IIT has a math. model it might be good to do poetic technology art with.

一個理論對現實的真相一無所知。 它可能是對現實的描述，僅讓我們能夠談論我們對現實的體驗。 它也可能是預測性的（科學家們的希望），這意味著我們已經成功地模擬了一些關於「現實」的觀察，足以窺探未來。 意識的問題在於，很難說它不僅僅是描述我們對世界體驗的近似術語。 當人們試圖超越時，他們就會物化這個理論，然後就有一堆隨之而來的謬誤：像是大腦（以某種方式）製造意識，但它沒有，心智也沒有。

not exactly but the key thing is that a theory says nothing about the truth of reality. It might be descriptive of reality which is handy so we can talk about our experience of reality. It also might be predictive (a scientists hope) which means we have modeled some observations about "reality" successfully enough to peek somewhat into the future. The problem with consciousness is that it is hard to make it anything more than an approximate term to describe our experiencing  of the world. When people attempt to overreach they create reifications and all the fallacies that follow from there. One is that the brain does (somehow) consciousness. It doesn't. Nor does the mind. They used to be called neural network simulators because of old work on perceptrons that were imagined (incorrectly) models of how neurons work.

愛德里恩回應運用MLP(multi layer perceptron) 作為模仿意識的假想：
有機系統作運算的方式和數位系統不同，兩個系統都能表現運算能力但是計算路徑有很多種。
Organic systems don't do computation the way these digital ones do. Both systems perform computation but there are many routes to computation.

有一個子領域關於真實的模仿身經系統，但你必須要使用類比計算機。
There is a whole subfield of real mimicking of neural networks but you have to do with with analog computers.

Max 是程序式（非多工）的，所以沒有辦法讓你在真實世界中好好的模仿任何東西。
Max is sequential not parallel so there is no way you can mimic anything well in the real world.

EMG資料紀錄系統設計 使用產品Myo Armband將李民中的右手肌電資料，每次製作肖像畫時透過8個醫療級的EMG感應器記錄下來，資料為69個值組成的連續數串，數串內容分別為：1-3為加速計(accelerometer)、4-6是陀螺儀(gyroscope)、7-10為四元數(quaternions)、11-18為EMG資料、19-69為音頻資料，將環境音轉為48個數串，分別表示低頻道高頻的頻譜。模型擷取是使用ircam中心的MuBu資料庫，Mubu是專門為聲音機械學習用途而設計的，因此特別適合用來處理音訊資料的機械學習。

^6/17

^6/18

^6/18

^6/25

^9/14

^{在收集資料的設計過程分為5天，在這段時間內研究了如何用MuBu紀錄模型、MuBu資料庫格式，iMubu物件是設計來紀錄模型（model）的，如同其他音源buffer物件一樣，資料一樣用buffer物件共享模型資料，然後將EMG資料轉為數串後用iMuBu紀錄下來後，可以直接用GF、GMM、HHMM、XMM等機械學習物件直接呼叫出模型進行機械學習功能。比如說可以進行較方便的分類（classify）功能，機器可以即時判別不同手勢動作，並將不同手勢動作結合對應到想要的輸出上，如聲音或影像資料。}

模型：卷積神經網路 Convolutional Neural Network(CNN) 軟體：Max/Msp, Tensorflow.js, node.js 
這個即時辨識系統是整合了tensorflow.js 在max/msp系統裡面，使用的模型是google的mobilenet模型，mobilenet是一種輕便的CNN模型，辨識時間極短，Max在今年9月將node.js系統整合進來，因此可以輕易的呼叫npm上的所有javascript 資料庫。加上今年Google發表了tensorflow.js，以往tensorflow只能在Python上製作，現在能在所有的網站上或是node系統上執行了，也就是說所有的網頁、手機、獨立軟硬體都能有智能，不再需要上傳到第三方雲端運算再送回來，隱私性也大幅提升了。做在max/msp裡的好處是因為雷射系統和EMG偵測系統都在Max中，軟體整合性高。

模型：高斯混合模型GMM（Gaussian Mixed Model) 軟體：MuBu library in Max, GMM in MuBu
這個辨識系統利用GMM來偵測環境變化，利用MuBu在Max/Msp中辨識音訊資料的強項，我沒有採用數位攝影機而是改用類比攝影機來提供MuBu即時的音訊資料。傳統的CCTV資料格式採用NTSC格式，將掃描線用類比波形來描述，可以達到約7成以上的辨識率（這是保守說法）。另一個好處是一個類比CCTV只需要9.5美金，可以監視器數量來提高電腦辨識率。這個作法是在實驗中期還不會卷積神經網路寫法時想到的。

3. 計畫執行心得/自我檢視及後續規劃
在實際發想時會覺得要深入了解到機械學習的結構性、數學性才能進行實驗，因此前期花了數個月在基礎概念養成、資料系統設計、手臂調教，所以最後呈現並沒有很多的概念結合在成果呈現。除了少數時間花在和工程師朋友就技術上作創意應用的討論，幾乎是一個人進行所有的技術統整。這邊壓縮到了和李民中的討論時間，等到進入討論時才發現兩人的創作觀念相差很大，這邊又花了一些時間資源來討論計畫觀念落差，就已經到計畫的三分之二時間了。在數學觀念上有明顯的成長：數學觀念上開始了解到非線性激活函數、反向傳播算法、權重在機械學習中為什麼在一個關鍵位置。能夠理解哪些不同情境下該如何選用不同的機械學習模型。技術上因為今年tensorflow.js的發表，在未來會朝向以javascript結合node.js為創作工具。機械學習模型在未來會傾向以增強學習（reinforcement deep learning）為技術基底，這是一種不需要大資料而純粹以當下經驗作為判斷條件的非監督式演算法，在機械學習領域中是較新的領域，也有很大且活躍的社群和資料庫。在閱讀許多機械學習藝術創作的案例後視野也有增長。經過和Adrian Freed的訪談，我很喜歡他把意識問題結合在植物演化上，我目前有一個溫室結合機械學習的計畫，也許這是另一個很好的研究方向。我之前的創作主題大都是關於「機械式的情感量化」，或是基於cybernetic概念而發想的穿戴式裝置，但是思考層次都還只是停留在對於情感量化的表面美學，這次為了這個意識主題對一些相關當代學說有比較垂直的深度資料整理，收穫很多。另外在檢視許多設計類型的機械學習案例，發現其實很多案例的技術性都不是很高，覺得自己對計畫內技術高度的要求門檻可以降低。 後續規劃

1. 機械學習和油畫家合作且以油畫為輸出還是有趣的，且在機械學習類型的藝術作品裡是少見的。看到許多機械學習作品都是關於機械學習中「自動化」元素對藝術性的影響，或是在演算法上的突破而產生更強大的生成作品，

2. 關於未來和畫家實驗合作的部分還是會繼續嘗試其他方式去影響畫家的主觀意識，最後將結果呈現在平面作品格式理，如畫作或是數位印刷在織物上，而不是以表演的形式。重點是必須能找到將主觀意識具像化的方式。

3. 可以從學術性的題目中歸納出哪些是可以商業化的元素，另外一個可能投注時間的地方是善用tensorflow.js和Amazon mturk 讓計畫在網站上執行機械學習，讓肖像畫計畫可以在線上自動化執行，鄉民只要提供頭像就能取得一幅作品和虛擬的EMG資料，做為宣傳和數位紀錄。

4. 手臂的部分因為租借太昂貴的關係所以暫時不再考慮合作，但是資料和技術能量已保存等到下次有合適的商業資金再啟動。

5. 程式規劃上會投注在CNN的資料庫訓練、增強學習（reinforcement deep learning） 和max/msp的整合。

6. 整合IIT的數學系統在Max/msp中。