的观点
英国机器人专家诺尔夏基教授呼吁先发制人地禁止部署自主武器
这是对工程师们的号召,他们应该站起来,要求禁止机器人自主杀伤。我问工程师这个问题,是因为你们知道机器在做出判断时是多么的有限;只有人类才能做出的判断;关于杀谁和何时杀他们的判断。
战争正迅速走向更大程度的自动化,高科技国家可以在不危及本国军队的情况下进行战争。我们看到在伊拉克和阿富汗使用无人机的人数呈指数级增长,中央情报局在巴基斯坦、也门和索马里进行有针对性的杀戮和标志性袭击。现在,超过70个州已经获得或正在开发军用机器人技术。
目前的无人机是远程控制的,用于在一个宽松的空域对付低技术含量的社区。从移动操纵杆到机动反应有1.5到4秒的延迟时间,空对空战斗或躲避防空火力都是有问题的。此外,技术先进的对手可能会采取反策略,通过干扰通信使无人机毫无用处。
完全自主的无人机无需与操作员通信就能寻找和攻击目标,不受人类重力或响应时间的限制,允许以超音速进行急转弯和机动。所以让人类脱离控制回路已经被所有的美国的军事自2004年以来的路线图。这将使美国能够减少战场所需人员的数量,降低成本,减少操作延迟。但它们也从根本上削弱了我们的人性。
英国公司BAE系统公司将于今年春天在澳大利亚测试Taranis洲际自主战斗机。美国一直在测试这种完全自主的亚音速飞行器幻影雷和x - 47 b它将于2019年左右出现在太平洋的美国航空母舰上。与此同时,中国沈阳飞机制造公司正在研制Anjian超音速无人战斗机,第一架设计用于空中缠斗的无人机。
![BAE今年将测试其自主无人机Taranis](http://www.peseonline.com/content/uploads/2013/03/TE_Taranis_482.jpg)
美国开发武装高超音速无人机的HTV-2项目已经以13000英里每小时的速度测试了猎鹰。其目标是在60分钟内用无人驾驶战斗机到达地球上的任何地方。未来的高超音速全自动无人机将制造出非常强大的武器,能够在看似合理的人类干预速度之外做出决策。
一个大问题是,自动武器将无法遵守国际人道主义法(IHL)和其他必要的保障措施,以保护武装冲突中的平民。没有计算机系统能够区分平民和战斗人员,也没有计算机系统能够按照区别原则所要求的方式对杀戮的适当性作出直觉判断。未来的机器可能具有某些类型的歧视能力,但它们不太可能具备人类用于进行比例评估的判断、推理能力或情境感知能力。对事故或滥用的问责是一个主要问题,因为许多不同的组织将参与自主武器的生产和部署。
美国国防部关于“武器系统自主”的指令(2012年11月),“一旦激活,可以选择和打击目标,而无需人类操作员进一步干预”,寻求向我们保证,这类武器的开发将遵守所有适用的法律。但这并不能得到保证,它为具有战斗自主性的机器的发展开了绿灯。
![波音的幻影雷](http://www.peseonline.com/content/uploads/2013/03/MSF10-0097-001_PhantomRay.jpg)
美国的政策指令强调验证和测试,以最大限度地减少可能导致意外交战或失去控制的失败概率。可能出现的故障包括“人为错误、人机交互故障、故障、通信退化、软件编码错误、敌人网络攻击或渗入工业供应链、干扰、欺骗、诱饵、敌方其他对抗或行动,或战场上的意外情况”。
研究人员如何才能将意外情况的风险降到最低?强调了测试、验证和验证,但没有承认确认移动自主武器将“在现实的作战环境中与自适应对手抗衡”实际上是不可能的。该指令没有认识到,扩散意味着我们可能会遇到来自其他大国的同等技术。正如我们所知,如果两个或更多的机器与未知的战略算法相遇,结果是不可预测的,可能会对平民造成不可预见的伤害。
底线是,不应该允许武器系统决定选择人类目标,并使用致命的武力。我们现在就得行动起来阻止杀死功能被自动化。我们已经禁止化学武器、生物武器、致盲激光、集束弹药和杀伤人员地雷。
我们现在需要一项新的国际条约来先发制人地禁止完全自主武器。
我呼吁你这么做在我们的禁令上签字吧在http://icrac.net/在太多的国家开发这项技术之前,我们冒险走上一条没有回报的道路。
Noel Sharkey是谢菲尔德大学人工智能和机器人教授
我完全同意Sharkey教授的观点。
正如在最近的一次单独讨论中所指出的,我们离“天网”又近了一步。也许这是另一个步骤。如果是这样,禁止自主决策是不够的。在我看来,我们现在应该采用艾萨克·阿西莫夫的机器人三定律。
如果我们走这条路,其他国家不可能不开发这项技术。这才是主要的问题!机器只会执行它的命令去摧毁,不管有人在不在那里,也不管他们是不是要杀死的人!
完全同意禁止自主武器系统。我们必须让一个人知道一切。
机器已经在这里了,它们不可能被取消。确保这些机器被负责任地使用的能力属于我们各自的政府,我们都知道大规模杀伤性武器如何影响他们的决定。我不想在这篇文章中表现出失败主义,我尊重教授们的观点,但他们会留下来,变得更加强大和危险。作为人类,我们永远不会从过去吸取教训,永远不会因为最薄弱的原因而失去发动战争的能力。
虽然我完全同意诺埃尔·夏基的意图,但我认为这是不可行的,除非我们使人类生命的价值远远高于今天。我还认为,除非我们普及教育,消除狭隘的部落主义所产生的偏见仇恨,否则我们将无法实现对人类生命的必要评估。所以第一步是教育每个人。这不是一个简单的任务,但可能是唯一的选择。
我完全支持诺尔·夏基教授的提议。
半自动杀手机器人已经以无人机的形式部署。
这些半自动杀人机器人被证明是不分皂白的,即使有人类操作员,坐在数千英里的安全距离。
这是正确的。你会让我们回到大规模炮击,浮动接触地雷,地毯式轰炸的时代。
我们能够减少无辜生命的丧失因为情报被设计成武器和传输系统。
认为禁止智能和自动武器就能让生活更安全的想法是幼稚的。事实上,只有坏人才会拥有智能武器。精灵已经从瓶子里出来了。
我同意Sharkey的观点,自动杀人应该被国际法禁止。
但是正如John Lusby所指出的那样,这项技术无论如何都有可能被开发出来——如果一个国家担心它的对手也在研发这项技术,那么它就没有一个国家能够止步不前。
我想提出另一个令人担忧的场景,除了州际战争和“机器崛起”类型的流氓事件。
这是一个精英(人类)阴谋集团故意压迫或消灭大量的人类。
一旦农业和制造业的必要功能基本实现自动化,拥有这种技术的精英群体可能会试图打破“生产”和“统治”阶级之间的古老契约。
想到的一个解决方案是让杀手机器人民主化,让制造和控制它们的知识为所有人共享。我不得不承认,这本身就像是一场噩梦,就像美国全国步枪协会所提倡的那样。
我很想知道是否有和我一样愤世嫉俗的人有更好的解决方案?
我是不是错过了什么?
如果就像斯塔基教授认为的那样,只有我们工程师才有能力制造出这些类型的武器,那么添加一个简单的“返回”选项,将武器指向发射器,这肯定是我们的技能范围内的事情。这无疑给了我们很大的力量来集中我们领导层的思想。我一直认为,1945年8月8日确实是战争的转折点。在那一刻之前,军事和政治领导人可以高兴地?把数以百万计的人送去送死,确信他们自己和他们的家人在“家里”将是安全的:自那以后,所有国家的领导人——无论是选举出来的还是非选举出来的——都拒绝了这一选择。除非我错了,尽管有一些小的违规(只涉及到使用有限力量的小国),我们很高兴没有发生第三次世界大战。
将大型电脑游戏呈现在屏幕上,而不是真实存在,这种想法具有一定的吸引力。当然,许多人的生计依赖于冲突,而不是其结果将失去工作,但这是一件坏事。
让他们的技能?重新定位,处理自然灾害,而不是人为灾害!
现实是,无论好坏,自动机器都将出现。人类面临的问题是我们如何选择使用它们。这与20世纪上半叶进行的核研究有明显的相似之处——我们本可以选择将其发展成一种廉价、清洁和可靠的能源,但我们却把时间和精力投入到一场军备竞赛中。
需要是一切发明之母。曼哈顿计划(值得商榷)结束了一场难以置信的毁灭性冲突,如果我们再次处于同样的位置,我相信我们(工程师、科学家和政治家)会做任何需要做的事——不管任何回顾的道德判断。这就是生存的本质吗?
詹姆斯对曼哈顿计划的评论让我想起了一些有趣的过去历史。同事们可能还记得我和杜邦之间长期而牢固的联系。没有多少人知道这一点,但曼哈顿大部分工艺的主要承包商是杜邦公司。
是的,同样的人使纤维和炸药(原公司的名称之一是杜邦粉有限公司),公司首先让它的名字(与美国东海岸建立密切联系)投粉和北方军队在内战(联盟)。有趣的是,在1940/41年,当罗斯福让首席执行官W·卡朋特(W Carpenter)接手这项任务时,他实际上也是通用汽车的首席执行官!我在杜邦档案馆看到了一些原始文件。根据合同,杜邦公司将根据标准的会计惯例,按小时支付员工的工作费用,购买和建造的任何建筑都将按成本偿还,还有……1美元!代表利润!(那时我才2岁,并没有真正参与其中!)
在我从事纤维和长丝开发期间,我与杜邦的联系一直很紧密。大约10年前,当杜邦的纤维权益被堪萨斯州的科赫公司(Koch Inc .)收购时,我有幸担任杜邦资产(实物和商标善意)的首席技术/管理顾问。这笔交易约为45亿英镑。
读者可能会有兴趣知道,最初的“思考”开始了整个“原子”的努力,这是由1912年在布鲁塞尔的大都会酒店邀请当时所有合适的科学家聚集在一起的结果:苏威集团(当时主要由比利时国王拥有)在过去100年里“强奸”了它的殖民地,尤其是刚果。在这里,有点像诺贝尔,主要的技术和商业企业几乎决定了他们的利益?政府和机构。我说的是经过深思熟虑的选举:我提醒自己,在第一次世界大战中,没有任何一方的普通士兵有投票权!
目前,链接到请愿书的链接似乎没有起作用。
这难道不违背机器人的第一和第零定律吗?突然间,《终结者》似乎不再那么遥不可及了……
禁止自动武器是个好主意,但出于两个非常基本的原因,它不太可能实现:
1.战争就是战争,事实上,胜利是唯一的规则。
2.来自军队和平民的压力,要求他们降低自己战士的风险(二战中使用原子武器)。
与全自动武器系统有更大的机会冲突升级在很短的时间内利用人类的循环总有选择不继续.Likewise以下的发展是减少风险的飞行员(还有其他原因)截止目前的技术水平将是最好的一个完全自动化的系统谁知道我们是否应该去那里呢?
虽然教授为这一禁令做了很好的论证,但这是否能阻止那些意图破坏和杀害无辜的人,他们有能力进行歧视,但却没有怯懦、心态或傲慢?我们刚刚在波士顿看到并在世界各地继续看到人与人之间的暴力行为,或者人们因饥饿而死亡,而另一些人则浪费生产过剩的食物。我怀疑这样的禁令会阻止人类对人类的不人道。
战争不再是国际对抗。这是一件复杂而混乱的事情,其中较弱的一方将不可避免地失去主要对抗,将利用现有的手段影响战场以外的事件。这就是9-11、7-7、马德里、Javan(?)夜总会等事件的意义所在,更不用说在伊拉克、阿富汗和其他地方对弱者和无依无依者的屠杀了。
在兰利部署由穿着西装的人操控的机器人只会让曼哈顿、骑士桥和波士顿的街道更加危险。
这是一个需要深思熟虑的复杂问题。使用无人驾驶车辆并不是一个新想法,毕竟美国人在越南时代就使用了无人机,其中一些无人机配备了空对地导弹。
对我来说,这并不像对与错那么简单明了。在一些情况下,无人机的行动可能有利于对时间敏感或关键的目标交战,这主要是由于它们的闲逛时间和潜在增加的携带和操纵武器的能力。
话虽如此,总应该有一个“人在圈子里”,就像多年来一直在进行的各种核威慑一样。一个完全自主的系统很容易被它的创造者滥用。“哎呀,我们不是有意这么做的,但无人机刚刚接管并决定.....”。
在回路中的人应该能够观察和监控无人机的整个操作,并在无人机可能采取不当反应时介入。
只要有情报监控这和其他任何形式的战争没有区别,包括有人驾驶的飞机行动,飞行员被要求向人口中心的目标投掷炸弹。
没有人愿意参战(疯狂的独裁者除外),但战争的目的常常被误解。目标是赢,并且尽可能轻松地赢。双方的伤亡都不是目标。想想冷战。虽然当时有很多实际的“战争”围绕着这一时期的大局,但双方都没有因为这个原因而“热战”。
所以我想最后,对我来说,政策应该是好的,但只有在最终决定是由一个男人(或女人,我们不要有性别歧视)做出的,如果规则被放宽,他可以介入。毕竟,每个服务人员都有权不服从他们认为不合法的命令。战争是有规则的。
这是一项谨慎的禁止这些武器的协议,只要在全球范围内禁止使用人体盾牌,路边炸弹,人体炸弹,其他简易爆炸装置....我希望你明白了
我觉得很难理解这篇文章。作为对《工程师》杂志的投稿,它并没有什么重大的技术或工程方面的煽动,而更像是一种对读者群体的政治要求。
如果这是“工程师”希望的方式,即允许任何教授,受认可的个人自由出版他们的个人信仰,并游说议会,那么这位读者将不订阅。
我理解这种平台(自动武器系统)的工程概念有道德和伦理问题,但一篇工程文章不是表达观点或促进个人政治的地方。把这个问题留给论坛和“发表意见”区吧。
多年来,对于许多工程技术的发展,存在着内在的道德问题和令人怀疑的争论(无法以速度呼吸——史蒂芬森火箭、核武器开发——奥本海默,仅举两例),但这种发展衍生出来的东西通常利大于弊(工业革命/蒸汽运输、核反应堆和研究)。
这可能是,而且很可能是这样,这些“臭鼬工厂”的发展将提高航空安全。只有时间才能证明。
然而,回到这一点,我不认为“工程师”是一个正确的位置,为个人挖掘他们的个人政治观点,应该是一个信息性的事实出版物。请把这些留给小报或演讲角。
我提醒“知情者”的拥护者,他们忽略了很多男人选择“无辜”目标的例子。
一个“知情人士”并不能确保“国际人道主义法”得到满足。
“机器人杀手”可能会错误地杀死“错误的”目标,但“人”可以有意地杀死“错误的”目标。哪一个将是最糟糕的?
我们如何控制这个禁令。如果中国或伊朗选择建造,那么谁来阻止他们。就像集束炸弹一样,我们可能不知道到底是谁把它们藏起来了,直到他们使用它,那可能就太晚了。
太晚了教授。
正如人类在日常生活中所证明的那样,纸上的文字总是被违背的。在阅读了这篇文章和评论后,更大的问题浮现在脑海中:
一旦机器拥有足够的“智能”,可以完全自我控制,人类将如何与自己创造的机器作战?
这将发生。这是我们“进步”的必然结果。
是《工程师》杂志编辑的时候了
退出政治
并专注于工程学
我现在开始认为这本杂志被左翼激进分子劫持了
精灵从瓶子里出来.....潘多拉的盒子真的打开了,等等等等.......禁止这些设备已经太晚了。这是以全球共同的道德为前提的。
作为一场“军备竞赛”,这可能没有专注于核武器或化学武器那么糟糕,所以让它/它们自己进化吧。谁知道呢,它可能只是“结束所有战争的武器”,或者至少驱动一些有趣的副产品技术。
我还认为,有一个合理的假设是,为了同样的目标,使用这些设备会比传统的地面战争造成更少的平民死亡。
至于“工程师”变得太政治化。是的,我同意。很难确定它是否是左翼,但它有时似乎确实倾向于左翼。
艾德,你明白了。回到非政治的工程问题上,或者做“体面的事情”......
不管工程师们是否选择禁用自动武器,总会有自动武器出现的:总会有人在某个地方让它成为现实。
对于那些在广岛和长崎做“如果……会怎么样”的人来说:如果二战结束时没有使用这种武器,那么它就会在稍后的某个时刻使用,而且越晚越可怕。
也许使用当时产量相对较低的设备比那些随着技术的发展而出现的设备更好?
我们能活到人类存在的这一刻,靠的只是一种能力,一种良知。事实上,战争(尤其是在现代爆发多年的战争)已经结束的原因。
我们的生存已经到了悬崖边上。在可预见的未来,人工智能将无法通过编程实现良知的正常运转。