1. 人脑输出到第二大脑

通过以下方法传递信息

  1. 语音
  2. 手势
  3. 按键
  4. 文字输入
  5. 眼动仪
  6. 脑电波

2. 第二大脑输出到人脑

3. 安卓自动化

第三方app方向:

  1. autopy
  2. 手机怎么运行python
  3. child::auto.js
  4. UiAutomator
  5. UIAotomator2
  6. appium

3.1. 方案

  1. 方案(弃用)
    1. 用tasker启用触发第三方app
    2. 然后用第三方app做图像识别,自动点击操作;这个属于前台操作
  2. 方案(弃用)
    1. 先抓取当前所有activity,然后再查找特定id,然后做判断
  3. 方案(实验中)
    1. 用系统自带侧边栏启动桌面快捷方式(可以是tasker或一触即发的pinned shortcut)
    2. 然后tasker和一触即发联动(一触即发负责识图识别,tasker负责更广范围的操作,如果操作重叠,优先在一触即发中执行)

3.2. 方案调研

3.2.1. 用tasker插件autoinput的ui change来触发任务

在对应的 app 中, 当 ui 改变时 (目前这个 ui 改变不是很清楚), 只要屏幕遇到设定的文本时就会触发

3.2.2. 用tasker插件autoinput的ui action来触发任务

只要屏幕出现对应文字,且对含有该文本的按钮进行点击或长按等操作就会触发

3.2.3. 适用autoinput实现坐标点击

3.2.4. autopy可以用autopy.getview获得当前界面控件树

3.2.5. autopy可以点击对应id的控件

3.2.6. tasker中触发条件选择状态-插件-autoinput ui state,可以实现当屏幕出现对应文本时,保持持续触发状态

3.2.7. Auto input插件 UI查询操作一定要设置超时时间不能设置为无,否则无法查询

3.2.8. 借助无障碍的app经常会被安卓系统挂起,导致自动化总是以外结束

3.2.9. 有很多控件并没有id和text,这时候就不适合用控件识别

3.2.10. tasker可以模拟键盘简单按键输入

3.2.11. shell命令需要root权限

3.2.12. hamibot没有图形化的编程,使用js语言

3.2.13. 使用my gestureapp可以快捷打开最多12个tasker任务,但不稳定

3.2.14. realme悬浮窗可以打开桌面快捷方式

3.2.15. 边缘任务app不稳定

3.2.16. gestureapp手势不能上滑

3.3. 自动化工具横评

3.3.1. autoinput

基于无障碍,经常被系统挂起

3.3.2. 按键精灵

3.3.2.1. 优点:

1、体验好,可在PC端的PC助手进行代码编写、调试(连接移动设备或模拟器情况下)。 2、擅长图色识别,找图、找色、找多点,只要思路灵活,就没有搞不定的识别。 3、操作基于模拟触摸操作,更接近真人操作。 4、可生成独立运行的APP,过程傻瓜化。 5、可在开发者后台对APP进行数据统计、更新等等各种管理,十分方便。 6、按键精灵有安卓版和IOS版,代码通用。

3.3.2.2. 缺点:

  1. 语言需要另外学习。
  2. 生成的APP可免费使用,也可付费使用,免费版带广告,付费版才可去广告。
  3. 需要root权限

3.3.3. auto.js

3.3.3.1. 优点:

  1. 直接获取控件信息
  2. 不需root

3.3.3.2. 缺点:

  1. 基于无障碍,不稳定
  2. 兼容性差
  3. 官方文档很乱
  4. 只可以简单的ocr,不支持高级ocr用法

3.3.4. Airtest

3.3.4.1. 优点:

  1. 图像识别

3.3.5. 开维控制精灵

3.3.5.1. 缺点:

  1. 基于无障碍服务

3.3.6. appium

3.3.6.1. 优点:

Appium 最大的优点在于你几乎可以用任意一种编程语言(例如,Java、Objective-C、JavaScript、PHP、Ruby)来编写 Appium 脚本而不必选择工具,兼容最重要的pigtail(Android 和 iOS)而不必安装和配置设备适应测试等等。

3.3.7. Hamibot

基于无障碍,

3.3.8. 一触即发

基于无障碍,但是有个功能可以防止不被系统杀死

4. 智能穿戴设备设想

4.1. 设想1

4.1.1. 第二大脑的输入

4.1.1.1. 指向型麦克风(力求能固定使用者出声部位和麦克风的距离,角度,再加以ai进行偏正)

4.1.1.2. 手部动作信息捕获

4.1.1.2.1. 整个手部精细三维数据捕获
4.1.1.2.2. 手指触摸位置二维坐标捕获(具体)
4.1.1.2.3. 硬件控制器, 且带反馈
4.1.1.2.3.1. 通过耳机声音反馈
4.1.1.2.3.2. 通过屏幕显示反馈
4.1.1.2.3.3. 通过硬件触觉做区分

4.1.1.3. 使用者环境捕获,用ai分析

4.1.2. 第二大脑的输出

4.1.2.1. AR呈现

4.1.2.2. 音频输出

4.1.2.3. 头戴投影仪, 然后手上绑上一个展开板

4.1.2.4. 智能手表