生成查詢網絡(GQN)的論文翻譯——場景的神經表征與渲染 Neural scene representation and rendering

本文對Deepmind最新成果GQN論文的主要部分進行了翻譯

場景的神經表征與渲染 Neural scene representation and rendering

S. M. Ali Eslami, Danilo Jimenez Rezende, Frederic Besse, Fabio Viola,
Ari S. Morcos, Marta Garnelo, Avraham Ruderman, Andrei A. Rusu, Ivo Danihelka,
Karol Gregor, David P. Reichert, Lars Buesing, Theophane Weber, Oriol Vinyals,
Dan Rosenbaum, Neil Rabinowitz, Helen King, Chloe Hillier, Matt Botvinick,
Daan Wierstra, Koray Kavukcuoglu, Demis Hassabis

 

摘要

場景表征——將視覺感受數據轉換成簡要描述的過程——是智能行為的一個基礎。近來的研究表明,當提供足夠大的標簽數據時,神經網絡在此方面表現優越。然而如何避免對標簽的依賴依然是個開放性問題。鑒于此,我們開發了產生式查詢網絡(Generative Query Network, GQN),在該框架內機器可以只依賴自己的感受器來學習表征。GQN接受從不同視角拍攝的場景圖片作為輸入,構建內部表征并使用該表征來預測從未觀察過的視角的場景圖像。GQN做到了不依賴標簽或領域知識的表征學習,向機器自動學習理解世界又邁進了一步。

Read more

通用智能的一些重要概念

本文粗淺地討論我對一些重要概念的理解:記憶 理解 概念 特征世界 識別 比較 歸納 預測 激勵 推理 視覺推理 陌生事物 新鮮感 發現異常 生成網絡 嘗試 想象 動機 目標驅動 腦中圖靈機 盲源分離 目標達成 世界模型 回憶 注意力 感知 判斷 感覺世界feeling

 

記憶(Memory)——有很多子類型,比如短時記憶、長時記憶,情景記憶、陳述性記憶、程序性記憶等等,不一而足,記憶直接對應著連接關系與其權重,將0也看成權重的話,本質是權重對外界影響的落實。比如一個場景,連續的感覺輸入包括相關概念的喚醒,也包括時間性感覺和概念,時間性的記憶由前后關系型連接建立,發生的事物、以及事物的空間和時間關系都影響著大量連接的權重,尤其是一過性場景能形成長期記憶,可能以來腦中的回放機制來加強記憶。短時記憶機制的已逝性和與長時記憶的可塑性,說明權重變化既是敏感的也是可加強的,有可能不同特性的連接用于不同的功能,有些連接比較遲鈍,權重落實慢,需要反復刺激,有些權重落實快,增加快降低也快,可塑性太強,反復變化,不便于長期記憶。說到記憶,往往指的是我們意識能感知到的知識、概念、生活經歷等等,但實際上類似于感覺初級皮層的功能形成與意識可感知的記憶形成本質都是權重落實問題。只是大腦很難意識到初級皮層的感念,初級皮層的權重形成也是傾向于統計上的落實。而記憶更傾向于一次性的權重落實,和反復單一刺激強調的權重落實。所以無論是情景記憶、程序性記憶,還是陳述性記憶,都是不同類型的輸入建立關聯的過程而已。回想是記憶落實和加強的重要手段,例如恐怖性經歷會刺激本能反復回想該記憶,從而會終身難忘。難忘的記憶征用了較多的記憶資源,并且時常回放進行鞏固,輕描淡寫的記憶動用了較少的記憶資源,又很少回想,這些記憶資源慢慢被其他記憶所替代。 Read more

智能時代與互聯網時代創業差異

智能時代得創業窗口期將變短,超級公司誕生得可能性巨大,但在通用智能技術達到臨界點之前,一定程度上的領域細分依然是人工智能創業的主旋律,超過臨界點之后,大多數競爭者將被淘汰,且越甩越遠。

互聯網時代還難以進入寡頭壟斷,整個三十年的創業期內各類互聯網公司風起云涌,主要的原因是數據的產生和數據的結構化是個體力活,很多公司僅僅憑借數據生成(算法生成和人工生成)和數據結構化就能活得滋潤,更不要說建立在數據之上的算法積累了,領先優勢更鞏固了互聯網垂直創業者在各自行業得地位。

智能創業得變革機會要比互聯網更多,因為不是所有得行業都需要互聯網化,但所有得行業都會面臨智能化,兩者已經不是一個量級。

智能化的路徑是專用向通用演變的過程,也是從眾多垂直創業者向一家獨大演變的過程。誰得到更通用的智能技術,誰就得到更進階的密匙。

僅有互聯網無法實現共產主義,只有人工智能才能實現終極生產力。

股票、期權、合伙人和員工

他到底是合伙人還是員工?

這是不同的概念,合伙人分的是股份,員工理論上只分期權,所以這個事件的本質是雙方的角色分歧,CEO把他當員工看,他把自己當合伙人,而這個角色應該在創業開始時就應該說清楚。

如果你創業想找一個人給你出技術,那么你要分清楚一件事兒,你是讓他幫你熬過創業初期還是持續管理公司,前者決定你必須找一個員工,后者才決定你找一個合伙人,合伙人分的是股份,這個股份的價值在于長期性的認可,直接給股份是十分高風險的事情,很多創始人耍機靈,開始時玩模糊戰略,等過了兩年看清楚了,再決定你的角色問題,就會出現分歧和糾紛。

期權和限制性股權的性質比較相似,都是依賴過去貢獻的股權授予機制,是一種按勞分配對抗不確定性的優良機制,所以適用于公司的大部分員工,用于獎勵員工過去的努力,注意到沒有,這個事件里面就有一段話在講這個問題,你過去的努力,我已經給我你分紅,未來的得看你的表現,這就是對待員工的態度,如果你合伙人,是創始股東,大家就是兄弟,要坐在一起商量,性質是截然不同的,就算你已經不在公司了,你依然是股東,你依然可以享受公司的分紅,就像上市公司的大眾股東,誰也不同跑去給公司打工,不照樣可以享受分紅?這就是股權的威力,股權決定了你對公司的擁有權比例而且不用打工就可以獲取相應收益的權利。

說到這里,順便提一下代持,一種對普通員工分配具有無投票性質的股權的辦法,這樣既保持了管理層的控制力,也保證了大家的努力得到的應當的現金收益。

那么實際上還是有第三種人存在的,比如職業經理人,他既不是創始股東和創始團隊的成員,但又是公司重要的管理團隊成員,其實是半員工半合伙人性質,這樣的人,一般情況下,可能會授予一定的股權,再授予一定的期權,給股權代表著我請你來,是把你當朋友,當兄弟,一起奮斗,給期權,代表著,我還是不是完全信任你,你還要通過表現拿剩下的部分。

但無論是怎樣的角色定位,作為創始人都應該在決定與一個人一起共事時,就應該把這個事情理清楚,說清楚,期權是應對概率問題的重要手段,當你對對方的確心有顧忌的時候,就應該明確的說出來,對不起,我不能直接給你股權,我只能給你期權,有部分信任的時候,可以說,我可以給你1%的股權,剩下4%必須是期權,等等。

打馬虎眼藏心眼的行為是不負責任的,嚴重的話就是詐騙。

所以總的來說,創始人首先應該理清楚目標人物的角色和不確定性問題,這樣才能結合時間維度、貢獻維度和控制維度,組合生成相應的股權期權方案。

深度學習主機入門版配置

為了讓初學者花最少的錢辦性價比最高的事情,我構造了這樣一套DIY裝機配置,在最大化利用顯卡資源的同時,極力壓縮無關配置。這個配置的主要特性是去掉了擴展性的可能,從而大幅降低了成本。

由于訓練和推理主要使用顯卡,顯卡還是要盡量的好,為了能夠訓練主流的模型,我們還是要上性價比最高的NVIDIA 1080Ti。

顯卡:技嘉(GIGABYTE) AORUS GTX 1080Ti,如果有渠道也可以買海外的英偉達出的公版(699美元)。

CPU:根據預算可以選擇i5 7600K或i7 7700K,當然其他的LGA 1151接口的CPU都可以根據自己的經濟能力進行選擇,注意一下PCIe的通道數,只要要保證16通道,可以上英特爾官網查一下https://ark.intel.com/products。接口一定要是LGA 1151,后面的主板和他是配套的。

內存:至少16G,如果選擇16G,建議兩個8G,利用上雙通道。如果32G,上兩條16G。內存頻率不是特別重要,DDR4 2133或2400普通的臺式機內存就可以了。

主板:華碩Z270-A,跟X99系列主板的3000元起步,Z270要便宜好多,如果選擇擴展性好的,比如網上經典的深度學習主機配置里那個三顯卡支持的X99-E WS主板,X99系列主板的確有較好的擴展性,他需要搭配的CPU也要高端一些,起步CPU是6800K,比7700K要貴幾百元,但6800K的優勢是多核,主頻卻弱于7700K。對游戲、VR的支持,顯然7700K更給力一些。Z270A+7700K京東有套裝,便宜好幾百塊。

SSD:考慮到充分發揮顯卡的性能,我們盡量不再占用PCIe通道,所以放棄了速度更快的m.2接口SSD,而選用了SATA3的SSD,但6Gbps的速度其實日常使用已經足夠快了,而且SATA3的SSD可以持續達到6Gps的讀寫性能,而m.2(使用PCIe模式)或PCIe的SSD,在連續寫入達到4Gb之后,寫入速度就迅速衰減到1.6Gbps。推薦型號:三星(SAMSUNG) 850 EVO 250G SATA3 固態硬盤,容量根據需求自己選。

硬盤:建議還是要有一個上T的機械盤用來存數據的,這個就隨便了,只要是SATA3接口的隨便選。

電源:如果將來不再加顯卡了,理論上這個配置也不適合加顯卡,畢竟通道數只有16個,一個顯卡占用的PCIe×16就給用沒了,雖然這個主板支持兩個PCIe×16插槽,但是真是兩個都插上,主板芯片組就會變成兩個8通道的運轉了。所以600W的電源基本就夠用了,建議電源要穩定,最好上EVGA品牌,大廠實力,然后根據經濟能力自己選就好了。

雖然是深度學習的乞丐版,這個配置在游戲玩家中也算非常不錯的高端配置了,玩各類游戲那是不在話下,再來個VR套裝,就真是物盡其用了。

裝機過程要注意的是顯卡供電要求比較高,需要用兩個電源線把兩個供電口都插滿。

如果有人使用這個配置裝機了,你可以在此留言,我將再寫一篇ubuntu、windows10雙系統安裝,以及深度學習基礎環境搭建的文章。

Faster R-CNN論文翻譯

Faster?R-CNN是互懟完了的好基友一起合作出來的巔峰之作,本文翻譯的比例比較小,主要因為本paper是前述paper的一個簡單改進,方法清晰,想法自然。什么想法?就是把那個一直明明應該換掉卻一直被幾位大神擠牙膏般地拖著不換的選擇性搜索算法,即區域推薦算法。在Fast?R-CNN的基礎上將區域推薦換成了神經網絡,而且這個神經網絡和Fast?R-CNN的卷積網絡一起復用,大大縮短了計算時間。同時mAP又上了一個臺階,我早就說過了,他們一定是在擠牙膏。

Faster R-CNN: Towards Real-Time Object

Detection with Region Proposal Networks

Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun

摘要

最新的檢測網絡都依賴區域推薦算法來推測物體位置。像SPPnet[1]和Fast R-CNN[2]已經大幅削減了檢測網絡的時間開銷,但區域推薦的計算卻變成了瓶頸。本作將引入一個區域推薦網絡(RPN)和檢測網絡共享全圖像卷積特征,使得區域推薦的開銷幾近為0。一個RPN是一個全卷積網絡技能預測物體的邊框,同時也能對該位置進行物體打分。RPN通過端到端的訓練可以產生高質量的推薦區域,然后再用Fast R-CNN進行檢測。通過共享卷積特征,我們進一步整合RPN和Fast R-CNN到一個網絡,用近期流行的“術語”說,就是一種“注意力”機制。RPN組件會告訴整合網絡去看哪個部分。對于非常深的VGG-16模型[3]。我們的檢測系統在GPU上達到了5fps的檢測幀率(包括所有步驟),同時也在PASCAL VOC2007,2012和MS COCO數據集上達到了最好的物體檢測精度,而對每張圖片只推薦了300個區域。在ILSVRC和COCO 2015競賽中,Faster R-CNN和RPN是多個賽道都贏得冠軍的基礎。代碼已經公開。

Read more

Fast-RCNN論文翻譯

本文實現了Fast-RCNN主要部分的翻譯工作,在SPPnet出來之后,同在微軟的R-CNN的作者Ross迅速懟了回去,拋出了更快更好的Fast-RCNN,思路為之一新的是,將之前的多階段訓練合并成了單階段訓練,這次的工作簡潔漂亮,相比之前的RCNN,懷疑作者是在擠牙膏。另外,面對靈活尺寸問題,Ross借鑒了空間金字塔的思路,使用了一層空間金字塔。

Fast R-CNN

Ross Girshick

Microsoft Research

摘要

本文提出了一個快速的基于區域推薦的卷積網絡方法(Fast R-CNN)用于對象檢測。Fast R-CNN在前人工作的基礎上使用深度卷積網絡,可以更有效地分類物體推薦。相比之前的工作,Fast R-CNN進行了多項創新,在提高了檢測精度的同時,也提高了訓練和測試速度。Fast R-CNN訓練了一個超深VGG16網絡,訓練時間比R-CNN快9倍,測試時間快213倍,在PASCAL VOC2012上達到了更高的mAP。相比SPPnet,Fast R-CNN訓練快3倍,測試快10倍,并且更加準確。Fast R-CNN用Python和C++(使用Caffe)實現,以MIT協議開放在:https://github.com/rbgirshick/fast-rcnn

Read more

SPPNet論文翻譯-空間金字塔池化Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

我對物體檢測的一篇重要著作SPPNet的論文的主要部分進行了翻譯工作。SPPNet的初衷非常明晰,就是希望網絡對輸入的尺寸更加靈活,分析到卷積網絡對尺寸并沒有要求,固定尺寸的要求完全來源于全連接層部分,因而借助空間金字塔池化的方法來銜接兩者,SPPNet在檢測領域的重要貢獻是避免了R-CNN的變形、重復計算等問題,在效果不衰減的情況下,大幅提高了識別速度。

用于視覺識別的深度卷積網絡空間金字塔池化方法

Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun

摘要

當前深度卷積神經網絡(CNNs)都需要輸入的圖像尺寸固定(比如224×224)。這種人為的需要導致面對任意尺寸和比例的圖像或子圖像時降低識別的精度。本文中,我們給網絡配上一個叫做“空間金字塔池化”(spatial pyramid pooling,)的池化策略以消除上述限制。這個我們稱之為SPP-net的網絡結構能夠產生固定大小的表示(representation)而不關心輸入圖像的尺寸或比例。金字塔池化對物體的形變十分魯棒。由于諸多優點,SPP-net可以普遍幫助改進各類基于CNN的圖像分類方法。在ImageNet2012數據集上,SPP-net將各種CNN架構的精度都大幅提升,盡管這些架構有著各自不同的設計。在PASCAL VOC 2007和Caltech101數據集上,SPP-net使用單一全圖像表示在沒有調優的情況下都達到了最好成績。SPP-net在物體檢測上也表現突出。使用SPP-net,只需要從整張圖片計算一次特征圖(feature map),然后對任意尺寸的區域(子圖像)進行特征池化以產生一個固定尺寸的表示用于訓練檢測器。這個方法避免了反復計算卷積特征。在處理測試圖像時,我們的方法在VOC2007數據集上,達到相同或更好的性能情況下,比R-CNN方法快24-102倍。在ImageNet大規模視覺識別任務挑戰(ILSVRC)2014上,我們的方法在物體檢測上排名第2,在物體分類上排名第3,參賽的總共有38個組。本文也介紹了為了這個比賽所作的一些改進。

Read more

R-CNN論文翻譯——用于精確物體定位和語義分割的豐富特征層次結構

我對深度學習應用于物體檢測的開山之作R-CNN的論文進行了主要部分的翻譯工作,R-CNN通過引入CNN讓物體檢測的性能水平上升了一個檔次,但該文的想法比較自然原始,估計作者在寫作的過程中已經意識到這個問題,所以文中也對未來的改進提出了些許的想法,未來我將繼續翻譯SPPNet、fast-RCNN、faster-RCNN、mask-RCNN等一系列物體定位和語義分割領域的重要論文,主要作者都是Ross Girshick和Kaiming He。

用于精確物體定位和語義分割的豐富特征層次結構

Rich feature hierarchies for accurate object detection and semantic segmentation

Ross Girshick? ? ? Jeff Donahue? ? ? Trevor Darrell? ? ?Jitendra Malik
UC Berkeley

摘要

過去幾年,在權威的PASCAL VOC數據集上,物體定位的性能已經達到一個穩定水平。表現最好的方法都是融合了多個低層次圖像特征和高層次的上下文環境的復雜系統。本文提出一種簡單的可擴展的檢測算法,可以將VOC2012上期望平均精度的最好結果明顯提升30%以上——達到了53.3%。我們的方法結合了兩個關鍵因素:(1) 將大型卷積神經網絡(CNNs)應用于自底向上區域推薦以定位和分割物體;(2)當標簽訓練數據不足時,先針對輔助任務進行有監督預訓練,再進行特定任務的調優,就可以產生明顯的性能提升。由于我們結合了區域推薦和CNNs,該方法被稱為R-CNN:Regions with CNN features。我們對比了R-CNN和OverFeat,Overfeat是最近被提出的一個機遇類CNN架構的滑動窗口檢測器,發現R-CNN在ILSVRC2013檢測數據集上面的表現明顯優于OverFeat。整個系統的源碼在:https://people.eecs.berkeley.edu/~rbg/rcnn(譯者注:已失效,新地址:https://github.com/rbgirshick/rcnn)

Read more

使用.ai域名的著名人工智能創業公司盤點

.com域名基本已經廢了,除非特別討巧地起到新的名字,否則基本都要花大價錢才能搞到滿意的名字。但這些對于人工智能的初創公司,似乎煩惱更小一點,因為.ai域名的注冊價格不菲,導致投機者大幅減少,直到2015年,.ai域名都數量甚微,大量優質域名都無人注冊,比如單拼ai域名今年才用盡,而雙拼域名大把存在,因此這些人工智能初創公司,就可以開開心心地毫無壓力地選擇一個比較不錯的域名注冊。

Read more

打麻将有什么技巧 百度股票 申达股份股票 中国重工股票 安徽今日快三开奖结果 赛车风云之急速赛车 股票涨跌即将涨停 闲来广东麻将app 山东11选5技巧 什么是股票指数 qq四川麻将规则 杠杆炒股卖出 股票配资的流程有哪些 四川麻将高手总结技巧 配资平台哪个好`找恒瑞行配资 新手学炒股快速入门 省快乐十分开