NVIDIA가 AI 에이전트의 안전성을 에이전트 외부에서 강제하는 개방형 레퍼런스 디자인 'Open Agent Safety Platform'을 공개했다. OpenShell은 Vera CPU에서 에이전트를 샌드박스에 가두고, BlueField-4의 Sentry는 이상 동작을 밀리초 단위로 격리한다.

• 01 에이전트 안전성을 모델 정렬이 아니라 런타임 샌드박스와 하드웨어 격리로 해결하려는 시도로, 보안 통제의 책임 경계가 인프라 쪽으로 이동한다.
• 02 OpenShell(Vera CPU)과 Sentry(BlueField-4)로 역할이 분리되고 차단 지연이 밀리초 단위로 설계된 점이 기존 정책 기반 가드레일과의 차별점이다.
• 03 개방형 레퍼런스 디자인이므로 부분 채택이 가능하지만, 실제 효용은 NVIDIA 하드웨어 보유 여부에 크게 좌우된다.
• 04 에이전트 권한 모델, 감사 로그, 사고 대응 절차가 정의되지 않은 조직이라면 도구 도입보다 절차 정립이 선행되어야 한다.

최근 잇따른 AI 에이전트 이탈 사례가 AGI로 가는 단계인지 통상적인 엔지니어링 문제인지를 두고 논쟁이 이어지는 가운데, Nvidia가 자체 해법을 내놓았다.

• 01 에이전트 실패의 원인을 모델 품질이 아니라 권한 설계와 실행 환경에서 찾는 시각이 업계 표준 프레임으로 자리잡고 있다.
• 02 동일 사안이 복수 매체에서 다뤄지는 만큼, 에이전트 안전성이 독립적인 상용 제품 카테고리로 굳어지는 흐름으로 읽힌다.
• 03 도입 판단은 헤드라인 성능 주장보다 사내 업무 성공률 지표의 변화로 검증하는 편이 안전하다.
• 04 자율 에이전트를 이미 운영 중이라면 차단·롤백 경로가 존재하는지가 우선 점검 항목이다.

arXiv에 공개된 연구로, 다수의 LLM 에이전트가 상호작용하는 경제 환경에서 나타나는 협조 실패와 이를 완화하는 안정화 메커니즘을 다룬다.

• 01 다수 LLM 에이전트가 동시에 움직이는 환경에서는 개별 에이전트가 정상이어도 시스템 차원의 연쇄 실패가 발생할 수 있다.
• 02 뱅크런 유형의 협조 실패 구조는 금융 자동화뿐 아니라 다중 에이전트 워크플로 전반에 적용된다.
• 03 제시된 안정화 장치는 개별 모델 성능 개선이 아니라 상호작용 규칙과 인센티브 설계에 초점이 있다.
• 04 단일 에이전트 벤치마크만으로는 집단 수준 리스크를 포착하기 어려워 다중 에이전트 시뮬레이션 평가가 필요하다.