生活紀實|1150922|備課:輔助科技與生活應用

把世界重新變成文字,再變成聲音

他看不到。
那我們就想辦法,把這個世界說給他聽。

閱讀方式
目前為閱讀模式。想聽文章時再切換即可。
🎧 聽文章模式
切換到聽文章模式後才顯示完整語音控制。按播放才會發出聲音。
0:00第 0 / 0 段--:--
聽文章模式下,朗讀文字會同步反白;也可以直接點文章任一句開始朗讀。
正在載入 TTS V2.3.2…
把世界重新變成文字,再變成聲音
Life Notes|1150922|出來混,哪有不還的。老師也一樣。欠學分,哪有不還的。
這篇真正想留下的以前,是文字讓我們在腦中建構世界;現在,我想把方向反過來,讓 AI 把眼前的世界重新變成文字與聲音。
快速跳轉

這門課,久久才開一次

這學期開了一門研究所的課。

輔助科技與生活應用。

這門課久久才開一次。

理由其實很簡單。

不是因為我突然教育熱忱大爆發。

也不是突然有了什麼偉大的教學理念。

沒有那麼偉大。

純粹就是:

欠了。

出來混,哪有不還的。

老師也一樣。

欠學分,哪有不還的。

我的方式比較簡單。

不是每學期零零散散開。

累積一段時間。

差不多了。

就開一門。

這次就是一門三學分的研究所課。

所以才有了:

「輔助科技與生活應用」。

本來只是準備 9 月 22 日的一堂課

9 月 22 日,我要上這堂課。

我原先其實只想談一個主題。

視覺障礙相關的科技應用。

看不到。

那怎麼取得外面的資訊?

以前有點字。

後來有文字轉語音。

現在又有手機。

有攝影機。

有 AI。

甚至可以讓相機替人看外面的世界,再由 AI 分析,最後用聲音說出來。

本來只是這樣。

準備一堂課。

結果越準備,東西越多。

從視覺,想到文字;想到小時候讀的國文;想到唐詩;想到〈夏夜〉、〈荷塘月色〉、〈背影〉;想到金庸;想到《魔戒》;再想到漫畫、真人電影、動畫、CG、影像合成,最後又一路走到生成式 AI。

越準備,感觸越深。

我後來突然覺得:

如果只在教室裡講完,就沒有了,好像有點可惜。

這些東西,好像已經不只是備課了。

裡面有科技。

有教育。

有生活。

有記憶。

也有到了現在這個年紀,重新回頭看以前學過、看過、聽過、聞過的東西,才會出現的一些感觸。

那就寫下來。

而且內容很多。

一篇寫不完,就慢慢寫。

變成連載。

這個連載的起點其實很單純。

只是因為 9 月 22 日,我要上課。

先從文字開始

我們這個年代的人,小時候其實都有很多共同經驗。

讀國語。

讀國文。

背唐詩。

背古文。

甚至背《唐詩三百首》。

老師叫你背。

大人叫你背。

背完還不算。

還要考試。

默寫。

填空。

抽背。

段考。

期末考。

那個時候哪裡會去想什麼意境。

老師在前面說:這一句多美,這一句多有畫面。

我們坐在下面可能只想:

明天到底考不考?

這個比較重要。

哈。

那時候真的會想:

這些大人怎麼這麼無聊。

好好的話不講,還要背,背了還要考。

幾十年後,再重新看到這些文字,感覺不一樣了。

年紀越來越大。

思想慢慢成熟。

走過的地方多了。

經歷的事情也多了。

才突然發現,小時候那些曾經被逼著學、逼著背、逼著考的東西,其實早就沒有離開。

它們已經變成我們人生記憶的一部分。

我們做個實驗

不要照片。

不要影片。

不要 AI。

只有文字。

千山鳥飛絕,萬徑人蹤滅。
孤舟蓑笠翁,獨釣寒江雪。

停一下。腦中有沒有畫面?

我想,大概每個人都有。

而且每個人的畫面,可能還不太一樣。

小時候背到這裡,哪裡懂什麼意境。

當時心裡想的,其實很直接:

鳥都飛光了。

人也都跑光了。

這個老人家沒事幹嘛自己一個人,大冷天還跑去江邊釣魚?

你要釣就去釣。

結果柳宗元還把你寫下來。

害我們幾百年後還要背。

背了還不算。

還要考。

哈。

現在再看,我反而不想告訴你山長什麼樣、雪下多大、老人坐在哪裡、船有多遠。

因為:

文字已經給你了。

剩下的,讓你自己的大腦去完成。

床前明月光,疑是地上霜。
舉頭望明月,低頭思故鄉。

腦中有沒有畫面?

我想,大家心裡都有。

那我就不用再說了。

不過小時候調皮一點,常常又是另外一個版本。

舉頭望明月。

低頭吃便當。

哈。

老師在前面講思鄉。

我們在下面想便當。

白日依山盡,黃河入海流。

下一句呢?有人不會嗎?

欲窮千里目,更上一層樓。

為什麼會?

不知道。

可能小時候背過。

老師抽過。

默寫過。

考試又考過。

考著考著,幾十年後,它就住在腦子裡不走了。

哈。

至於畫面呢?

我想大家心裡都有。

不用我再解釋。

兩岸猿聲啼不住,輕舟已過萬重山。

有沒有畫面?

我想有。

那就好。

飛流直下三千尺,疑是銀河落九天。

有沒有畫面?

不用我說。

月落烏啼霜滿天,江楓漁火對愁眠。
姑蘇城外寒山寺,夜半鐘聲到客船。

有沒有畫面?

大家自己看。自己想。

其實這正是我要講的。

文字一出來,畫面就自己進到大腦裡了。

還有我們小時候的國文課本

我們小時候讀過的,當然不只唐詩。

〈夏夜〉。

〈荷塘月色〉。

〈背影〉。

這些文章,只要名字一出來,很多人心裡就已經有一些東西了。

尤其〈背影〉。

很多人可能早就忘記全文。

但是一講到〈背影〉,很多人第一個想到的,大概還是:

父親去買橘子。

我們看過那張照片嗎?

沒有。

有電影嗎?

也沒有。

但是那個背影,幾十年後還在。

小時候老師說:

父愛。

我們可能還在想:

這一段會不會考?

哈。

那個時候哪裡真的懂。

因為我們還是被照顧的那一個。

現在年紀大了,再回頭讀,感覺自然不一樣。

文章沒有變。

那幾個橘子也沒有變。

變的是我們。

這樣的例子其實還可以一直舉。

多到最後,我突然想到:

我們小時候到底考過多少次試?

難怪有些句子過了幾十年,還留在腦子裡。

不一定是因為當時多有意境。

有時候可能只是:

考太多次了。

哈。

文字,本來就充滿想像空間

文字很有意思。

因為它沒有真正的畫面。

所以反而:

充滿想像空間。

作者寫一座山。

那座山到底長什麼樣子?

每個人想的不一樣。

作者寫一個江湖。

那個江湖到底有多大?

每個人的腦中也不一樣。

文字只是給材料。

剩下的,是讀者自己建構。

既然文字可以讓人產生畫面,後來人就開始想:

既然腦中看得到,那能不能把它真的畫出來?

於是有了漫畫。

再後來,不只想畫,還想讓它真的動起來。

於是有了電視劇。

有了電影。

找真人來演。

找場景。

做服裝。

搭布景。

把原本只存在文字裡的世界,一點一點搬到攝影機前面。

同一本小說,換一個導演,不一樣。

換一批演員,也不一樣。

再過十年,技術進步了,重新拍一次,又不一樣。

因為每個人都在做同一件事情:

把文字裡的想像世界建構出來。

從真人,到動畫,到 CG

再後來,真人還不夠。

有些東西,現實根本不存在。

那就:

動畫。

再來:

CG。

真人拍不到的,電腦做。

真的場景和假的場景放在一起。

真人和電腦人物放在一起。

慢慢全部混在一起。

看到最後,有時候甚至已經分不出來:

哪一個是真的。

影片|MPC《The Jungle Book》VFX breakdown:真人、CG環境與數位動物如何一步一步合成為完整世界。

這裡也考考大家

有沒有覺得一件事情很奇怪?

我們常看到電影拍攝現場。

為什麼後面的背景,不是一大片:

綠色。

就是一大片:

藍色。

GREEN SCREEN
BLUE SCREEN

為什麼不是紅色?

不是黃色?

偏偏常常是綠色或藍色。

答案是什麼?

這裡我先保留。

不解釋。

也不說明。

有興趣的,自己去找答案。

其實這些技術,離我們沒有多遠。

很多人早就在用了。

只是:

用了,卻不知道背後的原理。

舉一個最簡單的例子。

PowerPoint。

我們要把一張人物照片放到另外一個背景裡,希望人物可以自然融進去。

第一件事常常做什麼?

去背。

把原來的背景拿掉。

留下人物。

再放進新的背景。

是不是?

其實做到這裡,已經碰到影像合成最基本的概念了。

至於綠幕為什麼是綠的、藍幕為什麼是藍的、電腦又是怎麼把背景拿掉的:

先點到為止。

不然三學分,真的會越欠越多。

哈。

到了今天:生成式 AI

到了今天,又多了一個新的東西。

生成式 AI。

以前要拍電影,要演員、場景、攝影機、燈光、後製。

現在,一段文字本身就可以成為建立世界的指令。

人物是誰。

場景在哪裡。

做什麼動作。

光線怎麼照。

攝影機怎麼移動。

AI 就可以開始把那個世界生成出來。

影片|Google:Veo 3 生成式影片示範。文字描述開始直接成為影片、動作與聲音的來源。

一路走下來:

文字→漫畫→真人電影→動畫→CG→生成式 AI

技術越來越複雜。

畫面越來越精緻。

甚至越來越逼真。

但是一路往前追,會發現一件很有意思的事情:

很多時候,最原始的源頭還是文字。

我還是喜歡看金庸

我自己到現在,其實還是很喜歡:

看文字。

尤其是金庸小說。

我喜歡一個字一個字讀。

因為那個江湖:

是我自己的。

郭靖長什麼樣子。

黃蓉長什麼樣子。

喬峰站在那裡到底是什麼氣勢。

段譽的凌波微步到底怎麼走。

全部可以自己想。

沒有人規定答案。

每個人的江湖,都可以不一樣。

但是一旦先看了電視劇。

看了電影。

人物有臉了。

聲音有了。

武功怎麼打,也有人替你決定了。

不是電影不好。

它只是:

替你完成了一種想像。

而文字不一樣。

文字只是提供:

建構世界的材料。

最後那個世界長什麼樣子,還是你自己決定。

所以科技讓「建構世界」變得越來越快、越來越精緻。

但是同時,也可能讓人越來越少自己的建構,越來越少自己的想像空間。

以前,文字給我們材料,我們自己建構世界。
現在,科技直接把世界送到眼前。

世界不只從眼睛進來

前面談的是文字。

對多數看得到的人,文字通常先從眼睛進來。

但是人認識這個世界,當然不只有眼睛。

再來是:

耳朵。

有些歌很有意思。

甚至前奏才剛開始,歌詞都還沒有真正唱進去,大腦已經開始建構世界。

例如:

〈上海灘〉。

音樂|葉麗儀〈上海灘〉|前往 YouTube 觀看

音樂一下。

氣勢就出來了。

沒有圖片。

沒有文字。

但是一個世界,就是出來了。

再來:

〈童年〉。

音樂|羅大佑〈童年〉|前往 YouTube 觀看

很多人聽到的,不只是一首歌。

有時候連:

自己的童年

也一起被叫回來。

還有:

〈外婆的澎湖灣〉。

音樂|潘安邦〈外婆的澎湖灣〉|前往 YouTube 觀看

一首歌,就可以讓每個人在腦中建構自己的海、自己的夕陽、自己的澎湖灣。

音樂比單純文字又多了一些東西。

聲音。

旋律。

節奏。

情緒。

最後一起進入大腦。

還有味道

其實不只是眼睛。

也不只是耳朵。

還有鼻子。

有時候,一個味道進來,幾十年前的記憶就一起回來。

走過一家咖啡店。

咖啡香一出來。

你可能突然想到以前去過的一家店。

想到一張桌子。

想到某一個下午。

甚至想到某一個人。

這不是照片。

也不是影片。

是味道把記憶叫回來。

再來。

小時候家裡的味道。

以前的家具。

棉被。

木頭。

廚房。

甚至下雨天回到家,門一打開的那個味道。

幾十年後,如果在某一個地方突然聞到類似的味道。

不用想太久。

家就出來了。

還有媽媽準備晚餐。

人在房間。

根本沒有看到今天煮什麼。

但是香味已經飄進來。

有時候不用問,就知道:

今天吃這個。

我們這個年代,還有一種共同的味道

統一肉燥麵。

這個真的幾十年了。

人變老了。

時代變了。

包裝可能也改過。

但是熱水一沖下去。

那個味道一跑出來。

以前讀書。

半夜肚子餓。

宿舍。

租屋。

家裡。

很多東西也跟著跑出來。

當時根本不覺得有什麼。

就是:

肚子餓,吃泡麵。

幾十年後再聞到,才突然發現:

原來這個味道,也陪了我們幾十年。

統一肉燥麵包裝
幾十年的味道。 這一包,很多人一看,味道大概就回來了。

這一段上課如果真的講太久,大概會引起公憤。

因為本來只是上課。

講到最後,大家都餓了。

哈。

當然還有:

觸覺。

這裡我就不繼續展開。

不然三學分真的不夠還。

我們就是透過這些感官,接觸這個世界

視覺。

聽覺。

嗅覺。

觸覺。

這些其實都是:

我們身體對外在世界的感知能力。

眼睛接收。

耳朵接收。

鼻子接收。

皮膚接收。

然後再交給:

大腦。

辨認。

理解。

連結。

建構。

然後,我們不只是知道這個世界。

我們還會走進去、做出反應、和別人溝通、改變環境,也被環境改變。

透過感官,我們接觸世界。
透過大腦,我們理解世界。
透過行動,我們和這個世界互動。

而人生從小到大的生活、學習、家庭、朋友、工作、旅行、成功、失敗、高興、難過,也全部慢慢和這些畫面、聲音、味道、感覺融合在一起。

最後成為:

我們自己的人生。

所以年紀越大,越容易回味。

同一首歌。

二十歲聽。

五十歲再聽。

歌沒有變。

變的是我們。

同一句唐詩,小時候只知道要背、要考。

現在再讀,裡面可能已經有自己走過的山、看過的河、遇過的人、送走的人、看過的夜晚。

所以現在回頭看,那些小時候覺得很痛苦的學習過程。

背書。

默寫。

考試。

當時真的很煩。

現在反而會覺得:

有機會學習,其實是一件值得感恩的事情。

有些變成知識。

有些變成能力。

有些變成記憶。

有些甚至幾十年後,才突然知道它的價值。

年輕的時候,只顧著往前走。

年紀大了,除了往前走,也開始懂得回頭看。

而回頭看的時候才發現:

原來很多東西,一直都在。

現在,我們只談視覺

前面談了很多感官。

但是接下來,我先收回來。

只談:

視覺。

因為 9 月 22 日這堂課,我原本真正想談的,就是:

視覺障礙。

當然,視覺障礙不是只有「完全看不到」。

程度很多。

每個人的視覺功能也不一樣。

我這裡先把問題拉到最直接:

如果眼前的資訊,就是沒有辦法靠眼睛取得呢?

我們平常太習慣「看」了。

看文字。

看手機。

看電腦。

看路。

看紅綠燈。

看人的表情。

看商品。

看照片。

看眼前到底發生什麼事情。

每天大量資訊,就這樣從眼睛進來。

太自然了。

自然到我們根本不會去想:

如果有一天,這條路進不來了呢?

小時候大家可能都玩過

要知道視覺有多重要,其實不用昂貴設備。

小時候很多人都玩過一種遊戲。

拿一條布。

把一個人的眼睛遮起來。

開始抓人。

誰被抓到,下一個就換誰當鬼。

遊戲開始之後,最好玩的通常不是那個被蒙住眼睛的人。

而是旁邊這一群:

看得到的人。

因為大家知道:

他看不到。

所以就開始欺負他。

跑到他前面。

故意講一句:

「我在這裡。」

等他往聲音方向走過來,人早就跑掉了。

有人左邊叫。

有人右邊叫。

聲東擊西。

有人故意靠得很近,等他手快碰到,馬上閃開。

大家在旁邊笑得很開心。

因為那個鬼的動作真的很好笑。

原本走路好好的。

眼睛一被遮住,整個人突然不一樣。

跨出的每一步,都變得:

小心翼翼。

再看看他的手。

平常走路,誰會兩隻手一直在前面揮?

不會。

但是眼睛一遮,兩隻手很自然就伸出來。

前面摸。

左邊摸。

右邊摸。

不斷在周圍揮動。

為什麼?

因為:

眼睛這條路突然被關掉了。

原本靠視覺取得的資訊,現在沒有了。

所以身體馬上找其他方法。

手伸出去。

用:

觸覺。

耳朵開始注意有人講話、有人跑動、腳步聲、笑聲從哪裡來。

用的是:

聽覺。

所以這個小時候覺得很好笑的遊戲,現在重新回頭看,其實非常有意思。

一條布而已。

只是把眼睛遮起來。

這個人沒有少一隻手。

沒有少一隻腳。

耳朵也沒有不見。

大腦還是原來的大腦。

但是:

他的行為整個改變了。

很好笑嗎?

當然。

小時候就是覺得很好笑。

但是換你被抓到呢?

布拿過來。

眼睛一遮。

我想,大部分人第一次被這樣蒙住眼睛,動作大概也不會漂亮到哪裡去。

剛才還站在旁邊笑別人。

幾分鐘後:

自己也差不多。

影片|Blind Man’s Buff(蒙眼抓人):眼睛被遮住之後,開始改靠聲音與觸覺找人。正好對應上面這一段。|前往 YouTube 觀看

但是,這只是遊戲

不過,剛才那個畢竟只是:

遊戲。

因為大家知道:

等一下布就會拿掉。

五分鐘。

十分鐘。

遊戲結束。

布一拆。

眼睛又看到了。

一切又回到原來。

因為你心裡很清楚:

我只是暫時看不到。

但是,萬一呢?

我說的是:

萬一。
萬一今天不是遊戲呢?
萬一那塊布:
拿不下來了呢?

不是五分鐘。

不是一天。

而是往後的人生。

這時候,問題就完全不一樣了。

你怎麼走路?

怎麼找東西?

怎麼閱讀?

怎麼使用手機?

怎麼上廁所?

怎麼出去?

怎麼知道前面有樓梯?

怎麼知道眼前站著誰?

如果突然把你的眼睛遮住一天,我想很多人很快就會知道,原來平常那些根本不用想的事情,全部變成問題。

你敢直接走出去嗎?

你會不會害怕?

會不會無助?

會不會開始需要別人幫忙、工具幫忙、環境改變?

這些問題,當你不是那個「鬼」的時候,大概跟你無關。

等到布真的綁在自己眼睛上,問題突然全部:

變成自己的。

蒙眼一天,也不等於真正的視障人生。短暫蒙眼能讓我們體會的是「突然失去視覺資訊」的落差;真正的視障者會透過學習、訓練、經驗與工具建立自己的生活方式。

如果是先天視覺障礙,他從一開始,就是用自己的方式認識世界。

如果是後天才失去視覺,又多了一個非常大的問題:
落差。

原本看得到。

原本可以自己走。

自己看。

自己判斷。

一場意外。

一個疾病。

視覺突然受到很大損傷。

這時候需要的,不只是工具。

還有適應、重建、心理支持,以及重新學習生活的方法。

看不到文字,那就換一條路

接下來,我們看最簡單的事情。

一本書。

我們拿起一本書。

眼睛一看。

文字就在那裡。

但是對一個看不到文字的人而言,字明明存在:

資訊卻進不去。

怎麼辦?

很早以前,人類就想到:

點字。

眼睛不能讀。

那就:

換手來讀。

文字→點字→手指→大腦

內容沒有變。

改變的只是:

進入大腦的路。

點字不是「看」的另一種字體。
它是把文字資訊改走觸覺。凸點本身也要學,跟任何文字系統一樣,需要建立讀寫能力。

點字這個東西,我們看得到的人第一次看到,其實也很有意思。

一堆凸起的小點。

我們看半天,大概還是不知道它在寫什麼。

對我們而言,真的跟:

天書差不多。

就像突然把一本中文書全部翻成泰文、越南文、阿拉伯文、韓文。

字明明都在。

眼睛也看得到。

但是:

你看得懂嗎?

大概不懂。

所以問題不只是有沒有資訊。

而是:

你有沒有學會讀這套資訊。

學會了,還要有教材

一般文字印出來,手摸不到。

所以還要把文章:

轉成點字。

再利用點字印表機,把一個一個凸點壓在紙上。

但是紙本點字又有一個很現實的問題:

厚。

點要摸得到。

點和點之間要有距離。

字和字之間也要有空間。

所以一本普通的書,變成點字,可能就是好幾大冊。

紙張。

製作。

成本。

空間。

保存。

全部都來了。

點字也進入數位時代

科技當然不會停在紙本點字。

現在還有:

可更新式點字顯示器。

可更新式點字顯示器概念示意
紙本點字進入數位世界。 文字換了,點字凸點也跟著更新。

這個就很有意思。

不需要把整本書全部印出來。

可以連接電腦。

也可以連接手機。

螢幕上一行文字。

系統把這行文字轉成點字。

顯示器上的小凸點:

升起來。

手指讀完這一行。

換下一行。

原來的凸點降下去。

新的凸點再升起來。

所以叫:

可更新式。

數位文字→可更新式點字顯示器→手指閱讀
影片|APH:Chameleon 20 可更新式點字顯示器示範。

其實我們每天都看得到點字

生活裡最常見的就是:

電梯。

大家下次搭電梯,可以仔細看一下。

有些按鈕旁邊,有一點一點凸起的符號。

那不是裝飾。

也不是多餘。

那是:

點字。

我們看數字。

視障者可以摸點字。

我們看樓層顯示。

他還可以聽語音。

同一部電梯。

同一個世界。

只是不同的人,透過不同的方法:

取得資訊。

所以那些凸點不是多餘。

那是另外一條:

資訊通道。

還有另外一條路:聲音

文字轉語音,這部分今天已經非常成熟。

就是:

TTS。

Text to Speech。

其實不用另外找例子。

光看:

你現在正在看的這一份連載。

就可以。

這一份連載,你可以用:

眼睛看。

也可以:

不要看,直接用聽的。

文章一開始,我就讓你可以自己選。

目前這個頁面提供三種中文聲音。

聲音不喜歡,換一個。

覺得太慢,把速度加快。

覺得太快,那就慢一點。

所以你現在就可以試試看。

先不要看。

把聲音打開。

眼睛閉起來。

用耳朵,把這一段聽完。

文字→TTS→耳朵→大腦

內容沒有變。

只是:

進去的路不同。

對一般人而言,可能只是方便。

但是對視覺障礙者而言,它可能就不只是方便。

而是:

另外一條取得資訊的路。

接下來,我想把事情整個反過來

這才是我這次準備課程時,覺得最好玩的地方。

我們前面一路都在做:

文字 → 世界。

文字讓人想像。

漫畫把它畫出來。

電影把它演出來。

動畫把它做出來。

AI 甚至可以直接把它生成出來。

那現在:

反過來呢?

如果今天眼睛沒辦法取得眼前的資訊。

那我們能不能先用:

照相機、攝影機。

把外面的世界拍下來?

接著,再把這個畫面:

重新變回文字。

照片裡有什麼?

人在什麼位置?

桌子在哪裡?

門在哪裡?

前方有沒有障礙物?

讓系統用文字重新描述出來。

最後,再把文字:

變成聲音。

所以原本是:

文字 → 影像

現在變成:

影像 → 文字 → 聲音

我把它看成:

逆向工程。

世界經手機相機、AI、文字與TTS轉成聲音的流程
把方向反過來。 相機負責看,AI負責理解,TTS負責說,再由耳朵把資訊送回大腦。

其實我們平常早就在做

有人問路。

你怎麼回答?

往前走。

走到第二個紅綠燈。

右轉。

看到便利商店。

再往前。

下一個路口左轉。

你其實正在做什麼?

就是把:

你知道的空間

轉成:

語言。

再透過聲音,傳給另外一個人。

對方聽懂以後,在自己的大腦裡,重新建立那一條路。

今天如果站在一位視障者旁邊,也是一樣。

你可以跟他說:

前面三步有一扇門。
門打開之後右轉。
右邊有一張桌子。
再往前是走廊。

我們正在做的,其實就是:

把我們看到的世界,轉成他可以聽懂的世界。

這就是另外一扇窗。

問題是,不可能永遠有一個人站在旁邊

如果每一位視障者旁邊,永遠都有一個人陪著。

看到什麼,就說什麼。

那當然很好。

但是現實呢?

要找一個人隨時在旁邊、隨時幫忙看、隨時幫忙描述、二十四小時都在。

很難。

也不可能永遠依賴另外一個人。

那怎麼辦?

這時候,科技就可以進來了。

手機,就在我們身上

今天幾乎每一個人身上,都有一個現成的東西:

手機。

手機有照相機。

有攝影機。

有麥克風。

有喇叭。

有網路。

還有越來越強的:

AI。

那我們為什麼不能把手機的攝影機,當成視障者的一雙:

外部眼睛?

手機拍下前面的世界。

AI 分析。

把畫面轉成文字。

再由文字轉成聲音。

最後告訴使用者:前面有什麼、左右有什麼、東西放在哪裡、環境大概長什麼樣子。

外面的世界→手機攝影機→AI 理解→文字描述→TTS→聲音→耳朵→大腦

眼睛這條路進不來。

沒有關係。

我們:

換一條路。

這套東西做得到嗎?

我的評估是:

先做出一個可以運作的原型,做得到。

而且關鍵不是從零發明所有東西。

把它拆開來看。

第一關|攝影鏡頭手機就有。取得外面的影像,幾乎不是問題。
第二關|AI辨識、分析、理解,再把畫面整理成可理解的文字敘述。
第三關|TTS把文字說出來。這一段今天已經非常成熟。

所以真正要做的,不是重新發明相機。

也不是重新發明 TTS。

而是:

把這些已經成熟的技術串起來。

AI 也可以有兩條路

第一條最簡單。

使用現成的 AI 平台。

寫一個程式。

手機拍照。

把照片送給 AI。

AI 分析。

把解析結果送回來。

再交給 TTS。

這條路最快。

因為最複雜的 AI,已經有人做好了。

我們需要做的是:

把技術串起來。

另外一條路。

就是:

自己架一套 AI。

不一定要從零訓練。也可以用現成的開源模型,架在自己的主機上。

不用陪你聊天。

不用幫你寫文章。

不用回答全世界的問題。

它只要專心做一件事情:

看畫面。

然後:

把看到的畫面轉成文字。

它可以是一套很單純、很專門的系統。

如果把這套系統自己架起來,那就有一套:

專屬的視覺解析 AI。

這條路,我認為也是可行的。

它像不像旁邊站著一個人?

如果這套系統做得夠好,它其實很像旁邊站著一個人。

你問:

「前面有什麼?」

它告訴你。

你問:

「桌上的水在哪裡?」

它告訴你。

你問:

「這張照片裡有什麼?」

它描述給你聽。

手機加上 AI,確實可以分擔其中一部分:

「幫忙看,再把看到的東西描述出來」

的工作。

我不會說它可以完全取代真人協助。

沒有那麼簡單。

真人協助裡面,還有安全、判斷、情緒,以及突發狀況的處理。

但是如果只是:

幫忙看。

幫忙描述。

這一部分,AI 開始可以做。

真正困難的,反而不是 AI 會不會看

現在比較值得研究的,反而是:

AI 應該說什麼?

如果使用者正在走路。

AI 一直說:

牆壁是白色的。

天空很漂亮。

桌子是木頭的。

這些都可能是真的。

但是現在真正重要的是什麼?

可能是:

前面兩步有階梯。

右前方有人。

左側有一扇門。

所以 AI:

看得懂

還不夠。

真正困難的是:

知道現在什麼最重要。

準確度。

速度。

距離。

方向。

危險。

重要資訊排序。

哪些要先講。

哪些可以不講。

這些,反而才是下一步真正值得研究的地方。

走了一大圈,方向剛好反過來

所以再回頭看整篇。

人類以前一直努力:

把文字變成世界。

唐詩。

小說。

漫畫。

電影。

動畫。

CG。

生成式 AI。

都是想辦法把文字所描述的世界建構出來。

現在針對視覺障礙,我們:

反過來。

把眼前真實的世界拍下來。

讓 AI 理解。

重新變成:

文字。

再把文字變成:

聲音。

世界→影像→文字→聲音

以前,文字讓我們在大腦裡看到一個不存在眼前的世界。

現在,AI 可以把眼前真正存在的世界重新描述出來,再透過聲音送進視障者的大腦。

這是一個剛好相反的:

逆向工程。

這不是把失去的眼睛重新長回來。

也不是說科技可以完全取代視覺。

而是:

把原本必須依靠視覺取得的部分資訊,重新找一條路送進去。

視覺這扇門如果受到了限制。

那我們就:

再開一扇窗。

這一次,這扇窗可能就是:

手機。

AI。

TTS。

再利用原本就存在的:

聽覺。

去理解。

探索。

接觸。

和這個世界互動。

最後,又回到那三學分

寫到最後,我自己也覺得很好笑。

這堂課一開始,只是:

欠了三學分。

那就還。

結果為了準備 9 月 22 日這一堂課,一路從唐詩,走到國文課,走到金庸,走到電影,走到動畫,走到音樂,走到味道,走到感官,再走到視覺障礙,走到點字,走到 TTS,最後走到 AI。

原本只是:

準備上課。

結果準備著準備著,又多出一堆可以做的事情。

所以我決定把這些東西留下來。

不只在課堂講完。

也寫成紀錄。

讓更多人一起看。

前面的想法,已經想得差不多。

架構也清楚了。

那下一步呢?

既然不是什麼做不到的事情。

那就不要只說。

把它做出來。

原本只是:

還三學分。

如果最後真的因為這三學分,多開出了一扇窗。

那這三學分,好像也還得:

滿值得的。

延伸資料與影片來源

  • 統一企業集團 PECOS|統一麵品牌與產品:官方品牌頁
  • Microsoft Support|PowerPoint/Office 圖片移除背景:官方說明
  • MPC|The Jungle Book VFX breakdown:YouTube
  • Google|Meet Veo 3:YouTube
  • APH|Chameleon 20 可更新式點字顯示器:YouTube
  • FUN LEGACY|Blind Man’s Buff(蒙眼抓人遊戲):YouTube
輔助科技與生活應用|生活紀實
原本只是還三學分。最後如果真的多開出一扇窗,那這三學分,好像也還得滿值得的。
回到系列導覽← 回到 1150922 完整導覽